东山书院位于祁门县城东眉山，旧为梅绢别墅，后为东岳庙。明正德十六年（1521年），徽州知府留志淑檄知县洪晰改建为东山书院。嘉靖九年（1530年）更名“环谷书院”，嘉靖三十三年改名“文公祠”，万历四十四年（1616年）邑人谢心元捐资重建，仍名“东山书院”后经历任知县迭加修憩和增建，至清同治间已颇具规模。有建筑69间，中为风教堂，前为仰圣坊，后有养浩斋、文公祠，左有立礼堂、兴诗堂、择喜堂、味道堂、喻义堂、立诚堂、怀德里、尚志堂，右有求仙堂、崇极调。这些古式建筑，重檐赭柱。跃赤流丹，蔚为壮观。清光绪二十九年（1905年）书院解体。次年院址改办高等小学堂。建国后，先后改建为城关镇初级中学和县教师进修学校，张凯帆题写“东山书院”门额，重建门楼。