新安胡氏乃新安的著姓大族，远祖可以追溯到东晋新安太守胡育，胡育系三国魏文德公胡质曾孙。胡质子威，得拜前将军，青州刺史，以功封平春候，胡氏一家因此世居青州。胡威仲子胡咨授职中散大夫，守位徐州，生子胡育。晋永嘉五年（公元311年），五胡乱华，镇东王司马睿在江南建立东晋皇朝，胡育授秘书丞，后又任新安太守居于新安，因此成为新安始迁之祖。
传六世至南朝梁天监年间，胡明星字太白，为梁太常卿，后世成为太常公，当地更有太常庙，上有李白的题词“十里无余姓，皆是太常孙”，当地更有“新安十胡九汪”的说法，可见新安胡氏的兴旺。
太常公生7子，长子胡启元，次子胡文焕生3子，长子胡（王己）迁居皖山，为皖山派始祖，而太常公世居横岗。
据《康熙写本新安胡氏族谱》记载，胡氏自太常公后分为10派：
礼门派，前门派，堂头派，太常公长子胡启元后裔。
遮村派，歙县上路派，安庆皖山派，太常公第二子胡文焕的后裔。
循良派，潭口派为太常公第四子胡钰后裔。
上门派，太常公第七子胡居仁后裔。
第三子胡晟入赘谢侍郎，迁居扬州。
第五子胡远生生三子，胡浑，胡默，胡静，此三子迁他乡，无从稽查。
第六子胡公瑞入赘裴氏，迁居豫州。