趙世光熱愛打高爾夫球,原來全因他在1987年時,因血壓高而聽從醫生建議多做運動,恰巧其富豪朋友如李嘉誠及鄭裕彤等個個都打Golf,故他也跟着一起玩,還常在高球場上邊打波邊傾生意,其後更成為高球好手!不過在2002年7月14日早上,與李嘉誠等友人在上水香港高爾夫球會打波時,他因天氣太熱而中暑,頭暈不適,由李嘉誠陪同送院觀察,在深切治療部治療4小時後出院。
此外,趙世光也愛賭馬及玩遊艇,曾擁有遊艇Dragon Venture號,可惜於2000年4月,這艘停泊在銅鑼灣避風塘的遊艇突然起火,付諸一炬。