有媒體人指林榮三與其兩位兄長早年經營米店,七十年代台灣代工業起飛時,林氏兄弟靠着米店與農民建立人脈,收購工廠附近農地,興建兩層高的簡易水泥磚房「販厝」,賣給從農村進入工廠與城市、在台北都會邊緣生活的勞工,一圓他們買房夢想,成為其房產集團的第一桶金,開啟林氏兄弟的房產大亨之路。
隨着樓價暴升身家飆
另有報道指,林榮三早年專注地產生意,成為台灣商幫三重幫之一,隨着台灣的房價炒高,林榮三被指因其政商優勢成為當中最大受益者。至九十年代,台灣對房價飆漲民怨沸騰,台灣政府力推土地增值稅等措施打擊炒風,最終迫使當時財政部長王建煊下台。有台灣民間組織更狠批林榮三是台灣社會房地產的「最大吸血蟲」。