趙世光的父親為世界三大船王之一的趙從衍,趙從衍與太太倪亞震育有四子一女,分別是長子世彭、次子世儀、三子世曾、四子世光與五女世亮。他於1952年正式在港成立華光船務,最初只得四艘貨船,發展至七十年代時已擁有逾六十艘船,並於1973年上市。
1983年,世界航運業衰退,華光負債高達67億元,趙從衍曾拍賣古董及出售華光地產股權套現近3億元。1988年趙從洐中風,趙世光與長兄趙世彭聯手打理業務,曾在澳門經營貨櫃及石油卸貨區生意,又在內地投資貨櫃箱清潔及搞拆船廠等,成功於1992年為華光還清債務。2000年,比利時航運公司突然增持華光股權並計劃私有化,趙世光斥資5.53億元取回華光控制權。翌年,趙世彭心臟病逝世,由趙世光獨自打理業務。在他全力打理下,華光船務屢創佳績,包括「安榮勇士」以31萬8,000噸成為香港註冊貨船中最巨型的一艘外,當時華光船隊擁有27艘船,市值高達94億元!2004年10月因趙世光突然中風,改由女兒趙式明打理生意。
趙世彭、趙世光與趙世曾三兄弟生性風流,各有女伴多多,三兄弟卻為爭產而反目!1997年,父親趙從衍以健康理由辭任華光主席,趙世彭與趙世光接任主席及副主席,但趙老太倪亞震聯同三子趙世曾入稟法庭向兩人等興訟,要求法庭證實趙從衍精神狀況紊亂,無法妥善處理本身事務,頒令家人成立委員會處理其名下財產!一場豪門爭產糾紛纏訟逾年,雖然最後和解,但兄弟卻全面決裂。
另外,炒樓眼光準繩的趙世光屢有斬獲,代表作莫過於是售出石澳道大屋給馬化騰勁賺一億!他在商界多年面對風浪仍處變不驚,如2000年遇上灣仔上海實業大廈發生三級大火,被困天台的他仍保持鎮定。