葉世榮出道多年緋聞寥寥可數,先後曾與王菲及已故女星陳寶蓮傳過緋聞,還有拍拖約一年的日籍女友。直至96年認識年紀相差超過十年的已故女友許韻珊(Cynthia),兩人拍拖及同居達六年,好不幸於02年10月世榮在家發現女友溺斃浴缸內,最後搶救無效,從此陰陽相隔。而向來視Cynthia為太太的世榮,以「葉府治喪」名義為女友舉行喪禮並進行冥婚儀式,為對方戴上戒指。
06年世榮認識圈外女友Faye兼透露有意結婚,但拍拖不到一年即傳Faye介入楊怡及圈外男友藍偉傑的戀情,翌年世榮直認分手並暗示有第三者。去年世榮於北京被拍得和新歡拍拖,但當時世榮只說是朋友。