Bangunan kecil setingkat yang dikenali sebagai Wisma Sejarah adalah pusat kegiatan bagi ahli Persatuan Sejarah Kawasan Batu Pahat yang asalnya menempatkan Balai Polis Bandar Penggaram. Balai polis tersebut telah dipindahkan pada tahun 1937 ke lokasi Balai Polis Trafik sedia ada yang berada di hadapan bangunan ini. Merujuk kepada peta Johor 1893 yang bersumberkan State Library of New South Wales, terdapat dua balai polis atau juga dikenali sebagai 'rumah pasung' di kawasan ini iaitu di Tanjung Telaga, Minyak Beku (berhadapan Pulau Sialu) dan Bandar Penggaram (kini dijadikan Wisma Sejarah) yang dicatatkan bertarikh 1913. Balai Polis Bandar Penggaram 1893 tersebut telah diganti dengan balai polis baru yang dibina bertarikh 1913 . Hari ini bangunan berkenaan telah diubah suai menjadi Wisma Sejarah yang diurus oleh Persatuan Sejarah Malaysia Cawangan Batu Pahat. Maka jelaslah bahawa 'police station' Batu Pahat seperti yang tercatat pada peta lama 1893 benar-benar wujud yang telah berubah fungsi sepertimana sekarang.