Gedung Swarha, Gedung yang Tidak Terurus