東山書院位於祁門縣城東眉山，舊為梅絹別墅，後為東嶽廟。明正德十六年（1521年），徽州知府留志淑檄知縣洪晰改建為東山書院。嘉靖九年（1530年）更名“環谷書院”，嘉靖三十三年改名“文公祠”，萬歷四十四年（1616年）邑人謝心元捐資重建，仍名“東山書院”後經歷任知縣迭加修憩和增建，至清同治間已頗具規模。有建築69間，中為風教堂，前為仰聖坊，後有養浩齋、文公祠，左有立禮堂、興詩堂、擇喜堂、味道堂、喻義堂、立誠堂、懷德裡、尚志堂，右有求仙堂、崇極調。這些古式建築，重檐赭柱。躍赤流丹，蔚為壯觀。清光緒二十九年（1905年）書院解體。次年院址改辦高等小學堂。建國後，先後改建為城關鎮初級中學和縣教師進修學校，張凱帆題寫“東山書院”門額，重建門樓。