吴文简祠位于月山村村头，系浙江省文物保护单位。“文简”是因吴姓之祖吴翥曾受唐宣宗谥封为文简先生，后人为追缅先贤，建祠纪念。该祠始建于明万历三十四年（1606年），因遭兵焚，后由乡贤吴懋修发动举溪境内的大一公（吴希点）下的富二、富四、富五三房联名创建，清康熙五年（1666年）竣工，历时十三年之久。该祠与来凤桥相对，依山傍水，祠前有一古樟树，枝叶繁茂，亭亭如盖，取荫庇子孙之意。

    古祠堂布局分三进，即大门牌楼、正堂、后堂，整体布局呈长方形，长33.4米，宽17.4米，整个建筑造型庄重古朴、美观大方。正门上悬挂“吴文简祠”匾额，两侧挂“文经”、“武纬”匾。从门楼正堂的间当设卵石铺砌的过道（俗称月石），两侧设天井及香灰房，上刻有“大明嘉靖元年”的砖刻题记。

    正堂五开间，进深六间，明间抬梁式，正上面悬挂“务本堂”和“源远流长”匾额，用于庆典、集会、祭祀等活动。正堂至后堂之间设立天井，鹅卵石铺砌。正面设有石碑三方，石碑上介绍祖先生卒、官职和古墓座落的位置，以及每年清明祭祀须注意的事项。两侧设置13级台阶至上，系青砖铺墁，后堂系妥先堂（供放祖先灵牌），该堂依山势而建，重檐歇山顶、高于全村，如同祖宗在上，子孙绕膝。前廊与左右廊柱间设置美人靠。

    祠内木质刻花柱础、万字斗拱和正堂构造，设计别致，构造复杂，粗犷瑰丽，古貌昂然，别具一格其建筑类风格确属罕见。据有关调查资料表明，仅在闽北和浙西南地区尚有少量分布，具有较高的科学艺术和考古价值。大量的牌匾、石碑、桅杆、灵牌、壁画在“文革”期间遭严重破坏，后在80年代末至90年代初文简公后裔和宗亲捐资、献料，把该座古建筑修复还原。1993年经县政府审核批准，列入县级文保单位，1997年经浙江省人民政府审核批准，列入省级文物保护单位。