萬卷樓位於祁門縣諸口村倪望重宅第內、是宅主、清代進士倪望重的書室，在大廳附近的東花廳內，名“求我齋”，實為藏書樓，當地人稱“萬卷樓”。東花廳為樓閣建築，梁頭富座，回廊用扇，無一不精工雕飾：或奇花異卉，或珍禽瑞獸，或歷史人物。皆栩栩傳神。宅內共有六座花廳，由回廊曲檻連綴而成，共同簇擁著氣宇軒昂的大廳。瓦脊連雲，渾然一體。這種結構。當地人稱“一府六縣”，氣派頗為顯赫。萬卷樓外，假山石秀，花壇挹翠，魚池清澈，倦讀之餘，可供賞心娛目。遊人人內，亦令你流連忘返。

       建樓主人倪望重，童年家境十分貧寒，賴母親乞討供其讀書。他曾寫下一對自勉聯：“全盤打算，毫無半點生機，餓死不如讀死；仔細思量，尚有一條活路，交通即是運通。”清同治癸酉（1873年），蒼天不負苦心人，他鄉試中舉，次年京師會試又金榜題名。以後歷任浙江省諸暨、黃岩、分水、淳安、臨海等地知縣。他為了勉勵後代走“學而優則仕”的道路，光緒十年（1884年）耗銀萬兩，興建了宅第和萬卷樓，又廣搜典籍，藏書極豐。其長子倪啟佑以海運積功保升知府加三品銜，繼承父業，又大量收藏近代版本圖書。萬卷樓藏書之豐富，不僅冠絕祁門，皖南地區也屬少見。據說，解放以後，倪望重的後人已將大部分藏書捐獻給安徽省博物館。