西递是一个由胡氏家庭几十代子孙繁衍延绵而形成的古村落。她奠基于北宋皇佑年间，发展于明朝景泰中叶，鼎盛于清朝初期，距今已有九百五十余年。据胡氏宗谱记载：“西川胡族，其先本姓李，唐昭宗李晔之幼子，因避朱温之乱，由近侍郎胡三护带至婺源考水，后改姓为胡，取名昌翼。后五代，中后唐明经科进士。子孙因以明经别其氏，称曰：明经胡”。北宋皇佑年间（1047）明经胡之五世孙胡仕良由婺源去金陵（南京）途径西递，深深被这里的山形水势所吸引，认定西递是一块极为难找的风水宝地。一年后，举家迁来西递居住，从而写下了胡氏家族壬派分支在西递九百五十余年繁衍生息的历史。
　　“追远溯本，莫重于祠”。“无祠则无宗，无宗则无祖”。这是明清时期在一府六邑的古徽州流传甚广的民间谚语。明代中叶以后，西递明经胡氏大兴土木，接二连三破土建祠。据族谱资料介绍：胡氏祠堂有宗祠（也称总祠）、总支祠、分支祠和家祠（又叫己祠）之分。宗祠，称“本始堂”又叫“明经祠”，座落在村口“胡文光牌楼”对面；总支祠是村中的“敬爱堂”和直街上的“常春堂”。分支祠很多，有仁让堂、璇元堂、惇典堂、维新堂、崇礼堂、存仁堂、惇化堂、种德堂、追慕堂、七哲祠、节孝祠、中和堂、绎思堂、继述堂、凝香堂等二十余幢；家祠有迪吉堂、锄经堂、霭如公祠、时化公祠等。若以当年祠堂的规模和豪华而论，应是如下排列：本始堂、仁让堂、敬爱堂、璇元堂、惇化堂和追慕堂。历经几百年的沦桑巨变，目前保存完好的只有敬爱堂、追慕堂、迪吉堂和锄经堂了。
　　西递村的胡氏家庭自第十二世祖愚四公开始就结束了一代独子单传的局面，到了十六代就出现了“九房头”（即九个儿子）、“大小四家”（即叔侄各生了四个儿子）各支系，每房头划地而居，独立成群，环连成片，形成了一个具有强烈的排他性的典型封建族长制的古村落。为了维护本姓氏大家族的根本利益，村中先后建起了15座牌坊（其中孝子牌坊一座、功德牌坊四座、节孝牌坊十座）、34幢祠堂，魁星楼、文昌阁、和尚庙、尼姑庵各一个，还兴建了书院2所，家塾藜馆9处，均以儒家的仁义廉耻、忠孝节义等伦理文化来教育和规范自己的儿孙，无处不在宣扬儒家思想，强化封建礼教的神权、族权和夫权地位，表现了强烈的宗法秩序。宗族中如有迎神祭祖等重要大事，各房房长都必须率领本房十六足岁支丁集中祠堂议事，并由辈分高、资格老且有文化才能、德高望重的族长主持族会和表态定夺。如有不孝儿孙为非作歹，做了违反族规的坏事，轻者当众批评，责令检查，重者开除祠堂，不得姓胡，并当场从享堂里取走其祖父、父亲的神位焚火烧毁，随之族长当众宣布，今后他家嫁女儿不得在祠堂内上轿，讨媳妇也不准在祠堂里下轿。本族子弟不分贫富都必须读书，如有困难，本房头应在族田收入中予以资助。不论入仕为官或从商经营，都要把文化列为首位，把“孝悌忠信，礼义廉耻”作为做人的终生准则。在封建社会里，决定一个宗族社会地位的高低，最重要的一个因素是政治，是否“累世簪缨”“代有文人”是衡量一个宗族社会高低的重要标准。西递村从明嘉靖四十四年（1565）胡文光出任江西万载县知县到清道光六年（1826），这261年间胡氏家族就出了130多名官吏，是胡氏家族政治腾达、文化昌盛、财丁两旺的鼎盛时期。