國務院港澳辦公室副主任張曉明出任香港中聯辦主任，彭清華主任和李剛「第一」副主任同時平級調走。這場人事變動「受挫」最大的是李剛。也說明朝廷兩大衙門「爭寵」，港澳辦「艷壓」中聯辦。
彭清華因為背景強大、後台很硬，從中央組織部調任中聯辦任副主任，後升主任，香港是他「仕途進步」之地。今次他又出任封疆大吏，破格安排，說明他的前景仍然很好。比較之下，李剛就暗淡許多。「團派」出身的李剛從國務院新聞辦副主任調任香港中聯辦副主任時，因為他已有副部級「實缺」職務，故其排名在彭清華之前。他當時也很年輕，四十多歲，仕途也被看好，估計他和彭清華一樣，數年後皆會升正部。
然而，彭清華扶正後，李剛一直留副。二○○五年，時任政治局常委、中央港澳工作協調小組組長、國家副主席曾慶紅訪港，據說「單獨見了李剛」，原本定好二十分鐘的談話談了近四十分鐘。於是馬上傳出李剛最遲在二○○七年的十七大前後調離中聯辦，升任正部級官員。
果然，十七大後，李剛要出任港澳辦主任的傳言不脛而走，與此相伴的議論是中聯辦將「攻陷」港澳辦。然而，據說時任港澳辦主任的廖暉堅決反對李剛接任。廖暉是老牌太子黨，他的意見是同為太子黨的曾慶紅、習近平要考慮的。結果沒多久，外交部的「女婿太子黨」王光亞接了廖暉的班。
這之後，人們在議論十八大後彭清華必調返內地時，多猜測李剛會就地扶正，但十八大上，李剛並沒有進入中央委員會，這就預示李剛不可能接替彭清華，升任正部。時任港澳辦副主任的張曉明則是十八大候補中央委員，而主任王光亞是中委，此更表明港澳辦地位「高」中聯辦一籌也。