鳳凰台相傳始建於南北朝的宋元嘉年間（公元424-453年間），當時傳有異鳥飛臨，官府認為該處是鳳凰棲息寶地，因而興建鳳凰台。後因李白的律詩《登金陵鳳凰台》，令鳳凰台聞名。據稱李白當時政途失意，登上鳳凰台後，感慨大唐江山遭安史之亂蹂躪，想到象徵祥瑞的鳳凰鳥憩息鳳凰台的傳說，因而寫下該詩首句「鳳凰台上鳳凰遊，鳳去台空江自流」，抒發愛國情愁。
據《宮苑記》所記載，鳳凰台上曾有樓閣，而李白在《登瓦官閣》中又寫道「門餘閶闔字，樓識鳳凰名」，證明唐代鳳凰台上曾有樓閣鳳凰樓。