斗母宫分前、中、后三院。中院有西向山门,精雕石狮蹲列门下。门侧分列钟、鼓楼。院内正殿原祀斗母神,俗称千手千眼佛。今置地藏菩萨铜像。东配殿原祀精雕紫檀观音、文殊、普贤三菩萨,均毁于1966年,今为文物展室。
前院,北有僧房,东南有寄云楼,均辟为茶室。院中有清光绪年间赵尔萃建天然池,蓄龙泉水灌田。池北为南山门。
斗母宫后院有正殿、配殿及禅房,东有听泉山房及龙泉亭,供游人小憩赏景。亭下涧内有“三潭叠瀑”如龙飞舞,名飞龙涧。游人立于潭间,流水声似丝竹奏鸣。
西山门外有古槐巨枝伏地,如卧龙翘首,俗称卧龙槐。
宫南西崖有“蔚然深秀”、“洞天福地”、“肤寸升云”及“二”诸刻,与山色辉映。“二”字谜即“风月”二字拆去边框,意为风月无边,景色秀丽。
宫北有高老桥,传古代黄老道徒高氏创建。桥北道西是人祖庙,原祀秦始皇,清代改为三官庙,祀天官、地官、水官。建国后改为小学。庙北西崖有清金石学家吴大仿秦李斯小篆《琅刻石》及《汉镜铭》石刻。