Bangunan tiga tingkat ini telah dibina pada tahun 1925 dan ia berkait rapat dengan kepentingan negara Jepun di Tanah Melayu sebelum perang dunia kedua (1941-45). Ruang di lantai dua bangunan ini telah disewakan kepada Kelab Jepun (Japanese Club) dan ia menjadi tempat tumpuan orang Jepun yang bekerja di dalam dan sekitar Batu Pahat untuk bersosial. Bangunan ini pernah dihuni oleh penyajak Jepun terkenal iaitu Kaneko Mitsuharu (1895-1975). Rekod kehadiran Kaneko Mitsuharu ke 'Japanese Club' ini dicatat oleh Junko Tomaru dalam bukunya bertajuk 'The Postwar Rapprochement of Malaya and Japan, 1945-61: The Roles of Britain and Japan in South-East Asia' yang diterbitkan pada tahun 2000. Dalam buku tersebut ada mencatatkan seramai kira-kira 450 warga Jepun di Batu Pahat pada ketika itu.

Orang Jepun mempunyai kehadiran yang besar di Batu Pahat kerana mereka terlibat dalam perlombongan bijih besi dan bauksit di Sri Medan dan ladang getah di sekitar Batu Pahat. Lokasi kelab ini yang berhampiran dengan sungai sangat mudah diakses oleh pekerja Jepun yang tinggal di pinggir bandar (Sri Medan) untuk datang berkunjung melalui jalan sungai menjadikannya sangat popular. Ia menyediakan bilik permainan dan bilik bacaan yang dilengkapi dengan surat khabar dan majalah dari Jepun. Kelab ini juga menyediakan penginapan kepada pelawat-pelawat dari negara Jepun. Pelawat yang paling terkenal di kelab ini ialah Kaneko Mitsuharu yang menjadikan pengalamannya selama beberapa bulan di Batu Pahat pada tahun 1930 apabila beliau berkesempatan melawat lombong besi dan ladang milik orang Jepun. Dalam bukunya, 'Malay and Dutch East Indies Travelog' yang diterbitkan pada tahun 1940, beliau terpukau dengan keindahan Batu Pahat pada ketika menjelang senja dengan kelip-kelip yang berterbangan di sepanjang Sungai Batu Pahat serta terpesona dengan sifat kelembutan penduduknya.