旧志载，始建于唐元和年间，因记载过简，不得其详。目前能够确认兴建较早的时间为明正统五年。是年，工部右侍郎周枕命广济寺僧修惠于寺前建清风亭的同时，在寺前建谪仙楼，肖太白像祭祀于楼上。清康熙元年，太平知府胡季瀛重建，易名为“太白楼”，又将神霄宫旁的李白祠移建于此，形成楼阁和璧的格局。咸丰年间，毁于战火。现存太白楼系光绪三年兵部右侍郎彭玉麟捐资重建。新中国成立后，几经周折修葺，面貌一新。1956年， 被列为安徽省重点文物保护单位。
太白楼高十八米，长三十四米，宽十七米，主楼三层，一层为厅，二层为楼，三层为阁。前后分两院，前为太白楼，后为太白祠。主楼底层为青石垒砌，二、三层系木质结构，飞檐镶以金色剪边，歇山屋面铺设黄色琉璃瓦，简瓦滴水饰物有鳌鱼走兽，造型古补典雅，挺拔壮观，给人以肃穆庄重之感。
太白楼大门门额上蓝底金书“唐李公青莲祠”，门两侧蹲一对石狮，雕刻精细，形态活泼。进门两壁回廊嵌有清代重建纪事及李白生平碑刻。三楼檐下高悬“太白楼”匾额，字体遒劲，为郭沫若手笔。缘楼内木梯而上三楼推窗远眺，但见长江如练，白帆点点。太白楼后为太白祠。祠顺应地势，就坡而建，借回廊与前楼二层相连。
