據梁實秋回憶，某日，他們在胡適家中聚餐時，徐志摩像一陣風似的衝了進來，抱着一本精裝的厚厚的大書，是德文的色情書，圖文並茂，大家爭着看。胡先生說：「這種東西，包括仇十洲的畫在內，都一覽無遺，不夠趣味。我看過一張畫，不記得是誰的手筆，一張床，垂下了芙蓉帳，地上一雙男鞋，一雙紅繡鞋，床前一隻貓蹲着抬頭看帳鈎，還算有一點含蓄。」大家聽了，為之粲然。

梁實秋說，這件小事說明：胡適先生儘管是聖人，也有他輕鬆活潑的一面。路遠毋須愁日暮，做特首，眼光總要看遠一點，就算沒有甚麼國際視野，也不能老盯着一池錦鯉；做特首，不但要多包容，還要有改革勇氣。依老朽話，普羅大眾生活已這麼苦，出來講幾句話，臉不要繃得那麼緊，一如側田點打都打唔甩嘅帽！女人有神奇胸罩，側田則有神奇之帽！

對！聖人也有他輕鬆活潑的一面。做特首，你有多少真材實料，百姓暫不會知道，而眼前的事實告訴我們：無論他是領袖、作家或作大，絕不可看他說了些甚麼，而應追查他做了些甚麼。可你的幽默，百姓霎時感染到！多了笑聲，可洗脫你不吃人間煙火、公子哥兒的形象；多了笑聲，百姓會覺得你的面相即使「奸」，可奸極都唔奸得過石堅！