林建岳為已故商人林百欣次子,為人風流,與他傳過緋聞的圈中女星「水蛇春」咁長,女伴如車輪轉,更特別鍾情台灣女星。
1977年 當時林建岳未滿20歲,與來自台灣的邵氏女星妞妞訂婚,惟後來有指妞妞退婚。
1980年 與台灣女星謝玲玲正式結為夫婦,筵開140席,兩人婚後育有五名子女,林母余寶珠對謝玲玲疼愛有加,惜兩人於95年離婚收場。
1991年 傳與翁虹來往甚密,翁虹曾表示與一位有婦之夫拍拖;另外,林建岳又與萬綺雯扯上關係,有傳兩女為此吵架。
1991年 與袁詠儀(靚靚)傳出緋聞,有指靚靚更搬往麗新集團的「瑰麗新村」居住。靚靚三年前接受《志雲飯局》訪問,坦承因貪慕虛榮,跟有婦之夫在一起。
1992年 與王祖賢交往,一年後傳兩人同居,祖賢更被指是第三者,令林建岳與謝玲玲的15年婚姻破裂,當年林母余寶珠爆出經典金句:「當個仔叫雞﹗」惟林王戀情於95年告終,祖賢早前接受電台訪問時表示,與林建岳一段情是美麗回憶。
1995年 林建岳與下屬林學華戀情曝光,兩人於97年傳出婚訊,至99年分手收場。
1998年 林建岳結識台灣模特兒Monica,並開始交往,被指是介入林學華和林建岳的第三者;兩年後Monica為林建岳誕下女兒。
1999年 傳與台灣性感女星林熙蕾來往,林建岳更點名力捧新寵,還被拍到進出林熙蕾香閨。
2002年 傳出與任職娛樂公司公關的鄺心怡拍拖,女方更由小康之家搬到半山梅道居住,但林建岳指報道是一個笑話。
2007年 有傳鐘錶界美女胡敏珊跟林建岳爆出緋聞,但胡敏珊鄭重否認。
此外,有傳林建岳對舒淇寵愛有加,送贈千五萬豪宅給她,因而兩人傳出緋聞。