趙世光的父親為世界三大船王之一的趙從衍，趙從衍與太太倪亞震育有四子一女，分別是長子世彭、次子世儀、三子世曾、四子世光與五女世亮。他於1952年正式在港成立華光船務，最初只得四艘貨船，發展至七十年代時已擁有逾六十艘船，並於1973年上市。

1983年，世界航運業衰退，華光負債高達67億元，趙從衍曾拍賣古董及出售華光地產股權套現近3億元。1988年趙從洐中風，趙世光與長兄趙世彭聯手打理業務，曾在澳門經營貨櫃及石油卸貨區生意，又在內地投資貨櫃箱清潔及搞拆船廠等，成功於1992年為華光還清債務。2000年，比利時航運公司突然增持華光股權並計劃私有化，趙世光斥資5.53億元取回華光控制權。翌年，趙世彭心臟病逝世，由趙世光獨自打理業務。在他全力打理下，華光船務屢創佳績，包括「安榮勇士」以31萬8,000噸成為香港註冊貨船中最巨型的一艘外，當時華光船隊擁有27艘船，市值高達94億元！2004年10月因趙世光突然中風，改由女兒趙式明打理生意。

趙世彭、趙世光與趙世曾三兄弟生性風流，各有女伴多多，三兄弟卻為爭產而反目！1997年，父親趙從衍以健康理由辭任華光主席，趙世彭與趙世光接任主席及副主席，但趙老太倪亞震聯同三子趙世曾入稟法庭向兩人等興訟，要求法庭證實趙從衍精神狀況紊亂，無法妥善處理本身事務，頒令家人成立委員會處理其名下財產！一場豪門爭產糾紛纏訟逾年，雖然最後和解，但兄弟卻全面決裂。

另外，炒樓眼光準繩的趙世光屢有斬獲，代表作莫過於是售出石澳道大屋給馬化騰勁賺一億！他在商界多年面對風浪仍處變不驚，如2000年遇上灣仔上海實業大廈發生三級大火，被困天台的他仍保持鎮定。