宋明两代，绩溪人读书入仕，多为言官、儒将，精忠报国，刚直不阿，但也大多仕途坎坷。其中影响最大的，当属仗义执言弹劾秦桧的胡舜陟。胡舜陟是宋徽宗大观三年（1109）进士，官至监察御史，因生性耿介，嫉恶如仇而名动朝野。靖康初年，他上书20余次，弹劾误国权臣16人；又出使金营，严辞谴责金兵烧杀抢掠、屠戮大宋百姓的罪行，表现出崇高的民族气节。绍兴元年（1131），秦桧做了宰相，力主议和，主战派的胡舜陟被迫辞官。岳飞当时正驻守宜兴，在北上抗金前，特为绕道华阳，来探望志同道合的老友，但因胡舜陟滞留湖州，没能见到。岳飞当晚宿在胡氏家族的东麓书院，与胡舜陟老父胡咸秉烛夜谈，临行赠五律一首：
杲杲日初出，浮云已半空。
梳头促鞍马，不觉东窗红。
别酒洒行泪，挥戈敢立功。
闻公侍御子，奋臂斩奸雄。
绍兴二年（1132)，胡舜陟复出，任淮西安抚使兼庐州知府，此时秦桧的卖国通敌嘴脸更加暴露，胡舜陟忍无可忍，再次上折弹劾秦桧十大罪状，又被革职为民。两年后，高宗因南方战事所迫，诏用胡舜陟为广西经略使，节制湘粤桂三省军事，以战功加封金紫大夫、明国公。这就是绩溪"金紫胡"的来历。在绩溪，胡氏为最大的姓氏，分布县内70多处村镇，因分四次迁入，又分为金紫胡、明经胡、遵义胡和尚书胡。绍兴十一年（1142），秦桧陷岳飞于狱中，胡舜陟怒不可遏，愤然上疏为岳飞辩诬，被构陷入狱，最后死于邕州狱中。邕州是今天的南宁。
胡氏东麓书院，今已不存。
