Tan Swee Hoe mempunyai kepentingan perniagaan dan hartanah di Batu Pahat dan rumah agamnya yang tersergam di Jalan Kluang adalah antara rumah terbaik di bandar ini. Kini rumah agam tersebut hanya tinggal struktur tinggalan tanpa bumbung. Dahulunya, Tan Swee Hoe pernah berkhidmat sebagai Presiden Dewan Perniagaan Cina Batu Pahat selama dua penggal dan beliau merupakan pengarah Bank Ho Hong, Batu Pahat. Beliau merupakan ahli Majlis Negeri Johor dan dianugerahkan darjah S. M. J. (Setia Makhota Johor) pada Disember 1929 sempena hari keputeraan Sultan Johor. Dalam sambutan tersebut, baginda telah mengadakan majlis makan malam mewah di rumah agam ini, ia telah dihadiri oleh Pemangku Raja Johor, Tengku Makhota. Tan Swee Hoe juga merupakan penaung kuil kecil Datuk Gong yang terletak di sisi jalan rumah agamnya. Jalan yang bercabang keluar dari Jalan Kluang yang bertentangan dengan kuil ini dinamakan sebagai Jalan Tan Swee Hoe, mengambil sempena namanya.