宋高宗把謝石帶回宮中，寫個「春」字，測自身兼國運。謝石直言：春字拆開，上秦下日，本來紅日正中，有國泰民安的吉兆，可惜秦頭太重，以致日受壓而無光。當時，漢奸兼奸臣秦檜當道，權傾朝野，宋高宗也怕他三分。謝石這一番說話，宋高宗深信不疑，問謝石有甚麼化解方法？謝石說他只識以字論字，國家大事又豈是我這個過氣的承信郎可以指指點點的？宋高宗當然知道謝石是由他父王宋徽宗提拔的，於是以高職高薪請謝石留在宮中當國師。謝石可以參透天機，當然明白君子不立危牆之下的道理，推辭了。
宋高宗沒想到，自己的王宮比街邊的測字地攤更不安全，以為把謝石帶回宮中可以避人耳目，暢所欲言，豈料他與謝石在宮中對話都被秦檜安插的人偷聽到了。秦檜知道後，喬裝打扮，來到謝石的測字地攤，寫了個「幽」字，問自身。謝石說你已經權貴顯赫，還測甚麼字？秦檜給他一錠銀，說你以字論字。謝石說，幽字有泰山之勢，目空一切，可惜兩邊有絲，一旦失勢就會被綁（秦檜夫婦死後被鑄成五花大綁的銅像，跪在岳飛墳前。）
謝石把話說完就跑，卻被秦檜手下逮捕，以妖言惑眾之罪，判處死刑，但當時謝石名氣很大，惹來很多反對聲音，秦檜把謝石發配充軍，吩咐解差在半途殺他。幸解差釋放了他，謝石逃過一劫，從此歸隱。