宋淳熙七年，朱熹至嵊赈灾时慕名探访吕规叔于鹿门，并在鹿门书院讲学三个月，期间，因为鹿门山有“名人良足以为贵”，吕家又为“名门望族以为贵”，题写了“贵门”两字，鹿门书院自此慕名来访者络绎不绝，口口相传，“鹿门”也因而改称“贵门”，只是书院仍以“鹿门”为名。
此处更楼是吕规叔之子吕祖璟所建，内有大鼓、座钟，用以记时和危险时刻警示乡民，还有各种古代十八般兵器，供乡民平时习武强身，有外民扰乱时保家安民。
吕祖璟，字太诚；从小立志，为国振武，官至淮南安抚使，专司卫戍治边和维护社会秩序；由于安徽淮南、淮北，分由宋、金治理，淮南已属边境，安抚甚为严峻。祖璟治边“恩威明信，盗寇皆惊”，社会安宁，不久年事高迈，回乡尽孝，宋宁宗授衔褒封三代，赐赏领地粮税，赐建演武更楼，自此将书院办为文武兼修，开创先河。
在更楼外探看石砌拱券洞内里时，只觉一片昏暗，及至步入期间，赫然别有洞天，一方数丈开外的天井将内里映得敞亮，这才看到，书院原来是四合式二层回廊木质建筑，下层乃石砌的台基，四围石墙高高矗立，上面藤蔓覆垂，青苔如油。其上迂廊古意盎然，窗牖栅栏沧桑古朴，石砌拱券洞的额上分题“归云”、“隔尘”，儒家文气尽显，而“一门两额”内外异称，别具一格，内外联读可得“鹿门隔尘，贵门归云”，涵义深切，耐人寻味。
沿阶而行，步出后洞，腾腾的云雾扑面而来。极目远眺，只见一片云海汹涌翻腾，谷中幽风掀起一个个云浪扑打在对“岸”旖旎的山峦上，蔚为壮观，其下云海间，却有歌声嘹亮，笑语绵绵，鸡鸣犬吠，迤逦而来，直在莽莽山间回荡。
此一时，看一川烟雨，听两耳松风；下一瞬，云在峰间绕，峰从云中出。片刻间，轻烟夕岚尽收眼底，所谓仙境盛景，反不及之一二矣，再回味“归云”、“隔尘”四字，大有超然脱俗、羽化登仙的意境，也难怪古今圣人继往而来，鹿门书院名传四海也！
“此方天地灵气充盈，不错！”欣然间，傲然的声音在耳畔响起，转头四顾，却空无一人。
“谁！”发声者俨然就在耳边，可即使秦慕风定心探寻，四下都没有任何气息，霎时有些悚然，那自负的声调，让秦慕风实在反感。“这是见鬼了？”秦慕风心道。
“哈哈哈哈，不错，有鬼，不过你死都见不到！”那个声音犹自戏谑着，彷将秦慕风当成指掌间的蚂蚱，捏在手上任意的玩弄，反让秦慕风更为恼怒，眼神瞬间阴冷下来。
“小子，动气了可就不好玩了！”——“你到底是谁？”秦慕风探寻之下已然确定，这声音绝非来自身遭，可为何他的面目神色，这人彷如在目，更玄乎的是心底的疑惑他都能探得？
“真是蠢的可以！”那人说道，而秦慕风瞬间愣在那里，两眼怔怔的游离着——刚说这话的时候，竟然是他自己的嘴在动？——“我！颛虚！”