鄒文懷是一個非常重視家庭生活的人,與太太袁曦華育有一女鄒重珩,兩夫妻多年來表現恩愛。鄒重珩的丈夫陳英明曾憑電影《香港有個荷里活》角逐台灣金馬獎影帝,可惜最終不敵黎明。鄒文懷在影壇有一定地位,難免傳出不少艷史,當中鬧得最火熱的可算是與傳媒人伍淑芳一段情。
鄒文懷的紅顏知己為女作者伍淑芳(筆名「藍茵」),於1960年為他誕下兒子鄒重玨,3年後再誕次子鄒重璂,惟他一直未有給予三母子名分。幼子4歲時,伍淑芳因病離世,兩名兒子由其姐姐照顧,兩子在沒有父蔭下成長。次子鄒重璂於1987年畢業於中文大學醫學院,2000年創辦本港首間24小時的「天一醫療機構」,大仔鄒重玨則任職土木工程師。另外,他對另一位紅顏知己劉亮華亦非常信任,更委以重任派她走美國,落力游說李小龍加盟嘉禾。