铅山县志记载：“群贤堂在治南、西湖（古代县城永平西边有湖，称为西湖）之旁，宋绍定间知县章公谦亨（字牧叔）所建，以祀邑中贤士及名宦寄寓之有功德名望者十有六人，堂久废今移祀考棚后。”
在南宋建的群贤堂里，安放着一块石碑，撰写碑文的是南宋时期上饶一位文豪陈文蔚，字才卿，此人是大才，曾经任鹅湖书院和白鹿洞书院的讲席，但却一辈子无缘公卿，没有科场的功名，一辈子除了教书就是著书。章谦亨请他为群贤堂写碑记，可见陈文蔚在当时的名望。群贤堂虽然不在了，但石碑清朝那时候可能还在，至少碑文被抄录下来了。
爲政有体达幽，枉雪冤滞，使民有所赴；愬者次之，而汲汲于催科抑末矣。国家设官置吏，星罗碁(棋)布，正人心，厚风俗，以寿国脉于亿万年之久，岂欲其营利货値，剥下媚上，为基本（国家根基）蠧哉！欲正人心，则莫若崇儒重道，教学明伦，使爲士者，知所趋向，而明义理；欲厚风俗，则莫若崇尙节义，褒表仁贤，使关节脉理上下相通，而利患无所择。如是则爲政之大体得矣！虽屑屑之细，故莫或毛举未损也。况大网旣正，衆目毕张，岂有得其大而遗其小哉！苕溪章侯来宰铅山，慈祥恻怛，寛厚乐易，民之归之，如婴儿之慕慈母至。家具其衔，焚香以祝。然则侯之爲政亦可知矣！未几一新县庠，植僵起仆，缩他费以养生员。春秋二祀及每月课试，躬率僚佐，精加考覈，陞黜必当，由是弦诵之声不絶。寂寥湮没之余，而佩服铿锵矣。然其心犹以是爲，特故事之常，未足以偿吾素。乃于西湖之旁，置屋一区，取是邑前后名贤之所经历，邦人之有行义寓客之爲，时望者不以爵秩穷卑、姓名显晦，凡有善可书，莫不传之，以着其始末，赞之以扬其德美，祀之以表其诚敬。其大者则取其讲学之功，道统之寄，辨异端似是之非，发前圣未明之藴，扶人极，立世教，有功万世者；其次则志气之激昻，风烈之峻拔，忠君孝父，舍生取义，有如秋霜烈日，足以激贪起懦者；其下则居官可纪，处乡以义励，金石不移之操，剖藩篱尔汝之私，以至履行之。修饬文草之典雅，足以传后而行远者，莫不取之。凡十有六人，堂以羣贤得名，倣钱塘湖上之意。然则是举也，其于人心风俗，岂小补哉！侯名谦亨，字牧叔，其先正二卿，尝历言路议论，丰采有足尚者，宜侯克世其家云。
以下是南宋状元徐元杰写给群贤堂最早祭祀的十六位贤士的赞词。
晦菴朱文公（朱熹）
赞：脉传伊洛，源接洙泗；开朗日月，扶植天地；巍巍鹅峯，羣贤来萃；讲道于兹，流芳百世。
东莱吕成公（吕祖谦）
赞：搜经微妙，发圣精华；文脉两汉，气盖百家；东莱撷英，南涧供藻；玉映冰清，千古不老。
复斋陆文逹公（陆九龄）
赞：德积于中，一襟和气；学虽精深，论不乖异；于道有功，韩韩棠棣；区区机云，徒文而已。
象山陆文安公（陆九渊）
赞：真识洞古，寒光照空；谁令滓翳，障我昭融；星会讲习，日参异同；象山仰止，增高鹅峯。
丞相龎颖公
赞：岳儥之英，国家之宝；精舍藏修，梁毓瑞草；妙藴经纶，得时行道；终始一节，爲国元老。
状元刘公（刘辉）
赞：文变于道，匪奇是务；性仁一篇，首动明主；孝义拔俗，名教有补；清风与俱，凛凛千古。
资政刘忠显公
赞：石塘之湄，白云俱飞；培植大节，临难不辞；忍污腥羶，甘死如饴；松柏有心，嵗寒
后知。
少傅赵公
赞：治水平冤，尧夫发粟；惟公之贤，能踵芳躅；活人孔多，其应甚速；厥后炽昌，以永福禄。
宗丞虞公
赞：地灵人杰，华蕚相辉；经明行修，结于主知；校讐芸阁，光动青藜；駸駸华栗，逐柏风悲。
稼轩辛公（辛弃疾）
赞：摩空节气，贯日忠诚；绅綅动邑，草木知名；阳春白雪，世所共珍；秋水瓢泉；劲哉斯人。
嘉遯赵公
赞：惟孝与义，惟公独全；灿灿褕霞，续续炊烟；贺白之文，间平之贤；天赐以寿，嘉遯邱园。
刺史祝公
赞：澟澟谊风，磅礡桑梓；解衣推食，周其生死；急难在原，单车千里；青青子衿，德公不已经。
汲古贾先生
赞：终南少室，捷径谁欺；先生之隐，眞情所爲；模写物象，尤工于诗；放翁之记，章泉之题。
傅长者
赞：士宜轩冕，圭璧彩衣；高谊薄云，知无不爲；屹然仁门，寇不敢窥；长者之称，名以实归。
韩洙
赞：志不茍取，能还遗金；燕山之窦，实同此心；居贫处约，竭力事亲；孝廉之称，传流至今。
申孝子
赞：人之事亲，惟事甘㫖；伟哉申生，引颈代死；彼凶可知，亦悟天理；两全其生，尔父尔子。
到了明朝万历年间，铅山来了一位好知县笪继良，他就是以自画白菜碑而著称的好官。他和章谦亨一样，非常重视官德和民风的建设，他说：“教化关乎风俗，风俗起于人心。”在章谦亨西湖群贤堂的基础上，重新扩建，增加了南宋以后的铅山先贤三十三人。并且亲自撰写重建碑文，继承了章谦亨的选拔标准，道德被列为唯一选项，不管他贫贱富贵，也不管他是本地人还是外地人。文中写道：
“人不在貌，士惟德一，章公序贤辨其情，不辨贫贱富贵；辨其善于乡，不辨其夲籍流寓。德行忠孝爲本，本立而后德立，有德必有言，有言必有功；未有不忠不孝而能立德、立功、立言者也；未有德言功之外别有文章，别爲德行也。余故续西湖群贤，而亦次第其贤者、仁者或本邑，或别邑，代有其人，人具其德，惟孝友于兄弟，是亦爲政也，于尔多士得毋又尙论古之人者欤？”
仿照前例，仍然给他们写了赞词。撰写赞的人是笪继良的好友，建安人柯仲烱。赞文如下：
李恂
赞：士必通经，乃能致用；卓哉李侯，爲时所重；淸约持躬，恩威御众；权贵不趋，西戎是控；罢职归田，庻几屡空。
周十公
赞：维翁孝行，孩提及长；卜葬厥亲，劳诸梦想；天鉴精诚，告以吉壤；文雉朝飞，云山苍苍；宜尔子孙，辉腾蕋榜。
陈康伯
赞：川岳之灵，日星之精；巘乎炳若，实降公生；扶宋末造，只手能擎；旂常竹帛，永勒勲名。
周钦若
赞：立志同居，遗言知足；景彼高风，愧兹薄俗。
徐子融
赞：讲求实学，不事浮名；秉性刚决，是曰老成。
陈文蔚
赞：鹅湖之侧，有隐君子焉。托卭园而肥遁，却束帛之戋戋；讲习诗论，久而弥坚，与考亭正叔，当在师友之间。
王小石、尹孝子
赞：至诚之感，发于天性；割股以祈，乃愈亲病；事可旌扬，情堪歌咏，紫溪之乡，后先辉映。
祝祐
赞：尉之名不闻于时，尉之性乐善好施，石塘之水清且长，尉之遗泽不可忘。
虞肃
赞：人争捷往，我愼持躬；与其贿进，甘以困终。蹇蹇之节，皎皎之风；名臣交荐，湖彼高踪。
傅槪
赞：行严脂韦，路绝苞苴；古称亷介，公其人与。
赵善宜阝
赞：铁之性刚，铁之材鍊；如公者，乃可以理烦而应变。
赵汝瀁
赞：有经济才，爲循良吏；诚至民安，才高物忌；引退全身，可谓曰智。
龚斆
赞：一代鸿儒，人伦师表。
韩郁
赞：流涕陈书，至情至性；惜哉斯人，言不见听；鼙鼓惊天，烟霞远遯；大节超超，鹅峯干仞。
白天民、程中、韩和
赞：教导之职，躬行爲先；学精德迈，白公之贤；程公治才，咨于建言；韩公方正，师道乃严。
王直
赞：破舌犯颜，直声震天；有友同心，子去我諌；智士仁人，相期无玷。
白璧
赞：愿逢老虎，莫逢御史；虎之猛犹可捦，御史之威不可撄。
辛祐
赞：䇿献守成，条陈治否；奏议从容，有诏褒美；上继家风，爲眞直指；誉震公卿，声传乡里。
胡濬、胡汉
赞：胡氏兄弟，玉金经济；治平赐宴，太守政绩；兵备赐衣，宪副手泽；河渠案断，名属国戚。
费鎭
赞：事亲能仁，复仇而果；建学捐赀，从戎亦可；壮哉斯人，勇于负荷；后嗣能贤，报施无颇。
费瑄
赞：奠彼洪潮，中流砥柱；抚兹苗民，翕然安堵；敷土成功，止戈爲武；绩着一时，勲隆千古。
张训
（原祀羣贤堂，据康熙五十二年广信府周志补入）
赞：公治贑榆，民父母焉；其量十世，其利百年；救灾捐赈，活众亿干，两暘时祷；诚至格天。
张谟
赞：翛翛乎，此身之外无一物焉；可累荡荡乎，此身之中无一尘焉；可容野云流水等，踪迹于太虚；凉飈皓月丰，受用于无穷；此翁此翁，林下罕逢；此翁此翁，眼中罕同。（张东白撰写）
徐旻
赞：券约可焚，良田可弃，是仁惠心，非豪侠气；伊彼徐公，好行其义。
费璠
赞：孝友传家，簪缨继世；积善余庆，天道如此；愼守慈祥，绵兹庆祉。
万廉
赞：万公名廉，不遗一钱；廷中谳鞫（yàn jū，审讯），反无不平；无罪则雪，何用贿焉；杨震四知，公清亦然。
陈瑄
赞：耆老陈瑄，人工代天；开筑新埬，灌漑万千；国民攸頼，铅弋均沾；殷荐爼豆，亿万斯年。（明费宏撰写）
费宏
赞：天际鸿飞，云中龙矫；忠结主知，侮招羣小；进退从容，悉心辅导；一代名臣，用资师保。
张祜
赞：宣力宣猷，之屏之翰；勇着兜牟，风清狴豻；历事三朝，解组汗漫；履险如夷，返躬无憾。
自章谦亨开创祭祀铅山贤士之风后，历代又有部分年代增加被祀之人，嘉庆十九年复增三人入祀。
胡梦泰
赞：铁石其心，骨鲠其性；戢暴锄强，无慙县令。
游翁山、王有后
（缺赞文）
道光四年增祀三人
费曾谋
赞：下车之初，烽烟四起；抚此孤城，誓同生死；身没名存，允宜禋祀。
高为阜
赞：鹅湖绩学，经义贯通；姚安着治，犷悍移风；贤哉太守，礼教之宗。
蒋士铨
赞：先生之学，综核古今；岀其彩笔，摛藻词林；幽幽白云，邈邈遐心；空山著述，寄托遥深；主持风化，千载传人。
