宋代吉州庐陵(今江西吉安)素以理学、忠节、文章著称，因而涌现出参知政事欧阳修、端明殿学士胡铨、左丞相周必大、右丞相文天祥四先生，相继为一代名臣。其中以胡铨为代表的胡氏家族，人才辈出，是一个功名显赫的大家族。
胡铨(1102—1181)，字邦衡，号澹庵。建炎二年(1128) 进士。当时高宗赵构策士淮海，胡铨答策万余言，高宗“见而异之”，想取之为第一，有忌其直者，才移置第五。授抚州军事判官，未赴任。金兵南下入江西时，他在赣州募乡兵助官军御敌，保卫乡里，转承直郎。丁父忧，跟随乡先生萧楚学《春秋》。绍兴五年(1135)，因兵部尚书吕祉以贤良方正举荐，他到临安(治今浙江杭州)任枢密院编修官。绍兴八年(1138)，宰臣秦桧决策主和，当金国派来“江南招谕使”诱迫南宋投降，而赵构却信用秦桧等人力谋和议。当此朝野震动、议论纷纷之际，胡铨不计个人安危，愤而上疏(即《戊午上高宗封事》)，反对和议，规讽高宗，直率提出请斩秦桧和使臣王伦、参政孙近三人，以谢天下。秦桧恼羞成怒，加给胡铨“狂妄凶悖，鼓众劫持”的罪名，将他除名编管昭州(治今广西平乐县)，旋改监广州盐仓。朝士陈刚中以启为铨贺，连坐贬谪知赣州安远县。绍兴十二年(1142)，绍兴和议成立后，又将他除名编管新州(治今广东新兴县)，同郡茶陵县丞王庭珪与长乐张元干以诗词赠其行。结果王坐流辰州，张除名。绍兴十八年(1148)，因词中有“有豺狼当辙”一语，转而被贬谪居吉阳军(治今海南三亚市)。直至绍兴二十六年(1156)秦桧死后，他才内移衡州。绍兴三十二年(1162)宋孝宗即位后，他才被召还擢用，历知饶州(治今江西波阳县)。孝宗曾以和议询诸朝臣，十四人中言不可和者仅铨一人而已。
隆兴元年(1163)，迁秘书少监，擢起居郎兼侍讲，历任国史院编修宫、权中书舍人，兼国子祭酒，权兵部侍郎，以集英殿修撰知漳州改泉州，留为工部侍郎。升龙图阁学士、提举太平兴国宫，转提举玉隆万寿宫，进端明殿学士。淳熙七年(1180) 以资政殿学士致仕。所著有《易传拾遗》十卷、《春秋集善》十三卷、《礼记传》十八卷、《书解》四卷、《经解》三十五卷、《澹庵集》一百卷。淳熙八年(1181)夏五月卒，特赠通议大夫，谥曰“忠简”，追封庐陵开国伯。他的祖父胡恺，赠承务郎。他的父亲胡载赠承直郎大中大夫。
胡铨的同辈兄弟中亦有多人与他相继登科，其中较出色的是其堂弟胡镐。胡镐(1104—1173)字从周。绍兴十五年(1145)进士。历官新淦县尉、靖州(治今湖南靖县)判官、赣县丞、改宣教郎。为人正直敢言，曾弹劾新（三点水+金）知县。为官廉勤。恰逢胡铨因上封事嫡居的南，胡镐退居二十年。后因张浚推荐，除诸王宫教授、左承议郎。枢密刘琪也嘉其静退，后授湖南参议官。另一位堂弟胡籍，为绍兴三十年(1160)进士。
胡铨治家，以严见惮，群从中惟独对其侄儿胡箕偏爱有加。胡箕(1122—1194)字斗南，通经史而瞻于文，尤精春秋学。绍兴十三年(1143)中选人国学，声誉日闻，以词赋第一，后以恩授迪功郎，监南岳庙。淳熙十六年(1189)进修职郎。胡箕事亲孝，居大学时，常常步行回家，探望母亲。平生廉洁，服用简朴，与人交往谦恭信诚，居无情，容戏言，乡里有不善，惟恐其知。所著有经部《三传会例》并遗稿三十卷。
胡铨的另一侄儿胡昌龄与胡铨同时向萧楚学《春秋》。乾道五年(1169)以特奏名进士。历官至静江府(治今广西桂林)司户参军，人都称其廉平。满一年辞去，帅守张拭留之不能，就作诗送之。死后，赐服金紫宣议郎。昌龄早年丧母，奉母诫，笃学终身，不忘侍奉二继母尽孝。昌龄治学严谨，其著述必援据，不为游辞，著有《文集》五十卷。
胡铨还有一侄儿胡英彦，字公武，博学强记，使人信服，为文研精殚思钩元，探颐（右偏旁为责）洞视根穴，注《论语》、释《汉史》，尤其擅长写诗，多警句，晚号：“鹤林居士”。所著有《集英》一卷、《文髓》十卷。
胡铨长子胡泳(1138—1175)字季永，年方六岁就跟随父亲贬谪居新州，抵达珠崖(珠海)。时铨授学诸生，胡泳一直受其父熏陶，等