外國人稱《推背圖》為「謎書」，皆因此書由寫成到收藏、流傳、解讀都像個謎，八國聯軍侵華時，將清宮珍藏的《推背圖》真本搶掠，後來有愛國華僑用巨資購回，現收藏在台北故宮。
《推背圖》的成書已是一個難以解開的謎團。話說唐太宗為保江山萬代，請兩位風水師指點迷津，一位是精於觀天文、善於解讀《易經》的李淳風，另一位是相學家、占星家，擅長算命的袁天罡。
這位袁天罡，就是「秤骨論命」的始創人，武則天未出世，他替武媽媽秤骨，鐵批必生矜貴女。後來武則天出世，袁天罡一看，批道：「龍睛鳳額，貴人之極」。李淳風與袁天罡半斤八両，各有所長，唐太宗尊為國師，隨身左右，每事必徵求意見。一山豈能藏二虎？故有說李袁二人貌合神離。
話說李淳風應太宗所命，用《易經》有六十四卦，李淳風主測，袁天罡從旁協助。算到六十卦時，袁天罡擔心李淳風領盡功勞，於是推李淳風背脊，說：「天機不可盡洩！」李淳風被他一嚇，就不敢算下去了。