© Foto: Bianka Behrami
Der Turmbauausschuss beschloss im März 1860 zusätzlich den Bau einer Turmwärterwohnung neben dem Aussichtsturm. Mit dem Bau wurde sofort begonnen. Später waren Türmerhaus und Rochlitzer Berg das Zuhause des bekannten Tierfotografen und Ornithologen Rudolph Zimmermann (geboren 1878 in Rochlitz, gestorben 1943 in Dresden), dessen Vater der dritte Turmwärter war. Die Turmwärter betreuten den Aussichtsturm, kassierten den Eintritt, verkauften Andenken und pflegten die Außen- anlagen.
Im Juli 1992 wurde das Türmerhaus – das zwischenzeitlich als Imbiss gedient hatte – renoviert und von da an als Gaststätte genutzt. Nachdem 2003 eine größere Ausflugsgaststätte, das Bergrestaurant „Türmerhaus“, direkt neben dem Aussichtsturm errichtet wurde, ist das alte Gebäude heute ungenutzt.