Namun, para pensiunan pegawai menolak untuk pindah karena mereka merasa memiliki hak untuk tinggal di rumah tersebut. Mereka telah menempati rumah tersebut selama bertahun-tahun.
Menurut info, rumah itu dulunya bukan dibangun dari anggaran negara melainkan dari urunan sejumlah pejabat Bea Cukai di masa lalu.