一九九七年香港回歸，七十歲的魯平也功成身退，港澳辦主任的位置由當了十三年國務院僑辦主任的廖暉接任。廖暉是中共元老、首任港澳辦主任廖承志的公子。廖承志病逝後，廖暉在一九八三年由軍隊的一名副團級幹部，一下子調到國務院僑辦出任副部級的副主任，可說連升三級。
廖暉「子承父業」，是當年中共政壇一個非常矚目的景觀，這當然是一個很特別的安排。那時中國改革開放不久，「海外華僑」這一大塊工作亟須恢復和擴充，而這項工作有其特殊性，最好由有「華僑背景」的幹部牽頭。廖公乃「華僑世家」，有深厚的根基和人脈，海外不少「僑領」及巨商富賈都和廖承志一家乃世交，廖暉叫他們叔叔、伯伯。
有這樣的背景和關係，廖暉被破格提拔，一九八四年出任僑辦主任，成為當年中共官場最年輕的正部長，那年他四十二歲。胡錦濤也是在這前後、這個年紀從團中央調到貴州出任省委書記，是當年中共最年輕的省委書記。
在僑辦主任的位子上，廖暉一呆十三年，除當了幾屆中央委員外，仕途停滯不前，十三年的僑務工作也未見幹出甚麼光彩，他的無所作為使其在政壇官場逐漸被人遺忘，被「邊緣化」，後來居上者大有人在，還有不少更是進入中央最高層。
這樣一位「霉咗好耐」的官員一九九七年因魯平退休而平調到港澳辦當主任，給人的感覺是港澳辦九七後大概也沒甚麼特別重要的事情可幹了，朝廷對港澳辦的重視也在下降，這當然和中央對九七回歸初期對香港的工作方針及思路有關。那時，中央特別嚴格把握不能讓內地的「一制」影響香港，也非常看好首屆特區政府能夠貫徹落實「一國兩制，港人治港」，並盡力為「港人治港」不受干擾創造一切條件。在這種思路下，找一個「行事低調」、「無為而治」的人當港澳辦主任乃「順理成章」，魯平那種「戰鬥型」主任適時「休」矣。