不少香港人對虎豹別墅充滿回憶。說得確切一點，虎豹別墅內的「萬金油花園」，作為香港第一個且免費開放予市民參觀的主題公園，花園內的建設，例如足以令每個小朋友晚上發噩夢的「十八層地獄」浮雕、別名「虎塔」的七層白色寶塔、描寫民間故事的彩色雕塑「八仙過海」等多處觀光點，裏裏外外滲透着濃烈的道理、處處導人向善的意義，這些才是香港人對整個虎豹別墅的集體回憶之所在。

許多年前，有地產發展商相中在有關地段發展物業，但民間普遍反對拆卸虎豹別墅及萬金油花園。於是政府多個部門跟發展商協商，最後達成保留別墅古宅的方案，惟萬金油花園最終難逃被拆卸一劫。現在，虎豹別墅原址只剩下面積約二萬平方呎的別墅與少許內花園。

有建築界人士認為，古宅本身的價值，在於其糅合「中式瓦頂、西式紅牆」的建築模式，以及屋內的堂皇氣派，從上世紀三十年代至今都是別樹一幟的建築風格。只是，古宅屬於私人業權，相信除了胡氏家族的成員外，普羅市民也只到過萬金油花園參觀，卻未嘗進入古宅內。如此說來，這古宅的集體回憶究竟在哪？古宅的建築價值，市民又認識幾多？

衡量歷史建築，必須衡量坊間對此的集體回憶及其社會價值。虎豹別墅真正使人有回憶的原件已被拆去，今日將被活化的別墅稱得上是歷史建築嗎？