据县志记载，河东书院原占地30余亩，有学田40余亩，座北朝南，沿中轴线向北，前有先门、仪门、讲经堂，堂前台阶上建有卷棚，台下栽松槐，东侧配崇义斋，西侧配远利斋。讲经堂北是五间的退思堂，堂东偏南是左曲房，堂西偏南是右曲房。过退思堂，为四教亭。过四教亭，即为藏书楼。楼上中间是祭祀三晋名贤的神堂，两旁是藏书的房间。藏书楼四周环以池水，名环池，池内种莲，可泛舟而行。环池以北是乱石滩，滩北有九峰山，上建仰止亭。山东名杏坛，山西名桃源。
山旁有砖井，叫源头，山下有四洞，曲折通往后山，洞名游仙。山上怪石磷峋，树木繁茂，左山名豹变，右山名风鸣。前人登藏书楼曾写有“怪石攒成九叠屏，层楼上倚六符星”之句，即指假山而言。在其两侧建有石榴园、葡萄园、牡丹园等，内皆有亭供人们游赏，最后有百果园和游息亭等。书院内殿宇庄严，亭阁傲立，小桥流水，园林清秀，环境优雅，风景宜人，堪称当地一绝。前人咏河东书院一诗，生动描绘其胜景：“胜地幽深草树新，开先卜筑待居邻。山连华岳环三晋，水带黄河见七津。剩有琴书期自得，不妨鱼鸟月相亲。渚莲径竹多风日，坛杏宫芹与暮春。” 河东书院自建成至停办，历经明、清、民国三代，计423年，为当时晋南最高学府。
县志载：明万历八年（1580），张居正奏毁天下书院，御史李廷观改为“三圣庙”得免，万历十三年（1585）御史赵楷更名“崇圣馆”，万历十六年（1588）御史吴达可又更名“育才馆”。清初恢复河东书院，光绪二十八年（1902），河东道吴匡改名“河东中学堂”。辛亥革命后，又将其改为“省立第二中学校”，后又改为“省立运城中学校”。1937年抗战爆发，10月奉令停办。沦陷后被日军占据，后被焚毁。除藏书楼外其余建筑均为废墟。但假山、石桥遗迹仍可辨析。
