胡家驊的爺爺為香港已故富豪胡兆熾，於三十年代經營美髮器材用品生意，並進口「喜蓮牌」電髮水而賺第一桶金，之後成立騏利企業，公司曾於1972年上市，1990年私有化，中環的騏利大廈就是胡氏家族的物業。胡兆熾有三名太太及十五名子女，胡家驊的父親胡寶星就是胡兆熾正室吳昭文的獨子。胡寶星為「胡關李羅律師行」的創辦人及前市政局議員，由於熱心公益，1999年獲英女王頒授爵士勳銜。身為第三代接班人的胡家驊及其兄弟合力擴大公司業務，至今發展範圍已拓展到畫廊、酒店、地產及商住樓宇租貸等，赤柱濱海花園及淺水灣123號喜蓮苑等物業，以及英國倫敦著名畫廊Marsden Woo Gallery都是騏利名下。