安徽为胡氏的一个重要的发祥地。春秋时期，归姓胡子国的所在地阜阳就在安徽的西北部，胡子国被楚国灭亡之后，胡子国的一部分子孙就以国为姓，阜阳作为胡子国故地所在，理所当然地成为胡姓子弟安居的首选之地，扩而广之，整个安徽也成为归姓胡子国胡姓后代最初分布的重要地域。与归姓胡子国同饮颖河水的姬姓胡子国处于与安徽省交界的河南省的中南部的郾城一带，同样被楚国所灭。如果姬姓胡子国灭亡之后，其以国为姓的胡氏子孙由于种种原因向南迁徙，很有可能进入安徽境内。以此而言，两个胡子国的后代应该有相当一部分，生活在安徽境内，因此安徽自古以来就是胡姓的重要栖居地。
与安徽省毗邻的江西省，早在南朝刘宋时已经成为胡姓生活的区域。当时刘宋太子左卫将军胡藩由宿迁迁居豫章，成为胡姓华林世系的始祖，刘宋时的豫章相当于今天的江西南昌附近。胡藩膝下多子，据史书的记载，胡藩生有60子。胡藩家族人丁兴旺，支系庞大。虽然其后胡藩子孙定有迁居在外者，但是安土重迁、世居故地的子孙也应该为数不少。此外，胡子国的胡姓子孙如果继续向南播迁，必然途经江西，其中的一部分也会在江西安居乐业。
据现有保存下来的胡氏家谱的记载，明、清、民国时期的徽赣胡氏主要有以下几支：以东晋时胡育为始祖的新安胡氏；以北魏时胡国珍为始祖的祁门翠园胡氏；以隋时胡乐陵为始祖的婺源清华胡氏、祁门胡氏、无为濡须胡氏、南垣水西下怡胡氏；以宋时胡瑗为始祖的绩溪遵义胡氏；以宋时胡舜陟为始祖的绩溪金紫胡氏；以宋时胡淑英为始祖的潜北胡氏。其中，以胡乐陵为始祖的这一支的支系最为庞大。
一、婺源清华胡氏
婺源古称“吴楚分源”，今位于皖、赣、浙三省交界处。境内千山万壑、水网纵横，以至于婺源人“出门见山，举步涉水”。独特的地理条件使它成为历史上一个隐居、避乱之所。正因如此它也成为胡氏的一个重要的发祥地。
据《清华东园胡氏宗谱》卷2《隋姑苏守福公传》、《祁门胡氏宗谱》卷2《唐检校尚书右仆射兼御史大夫胡瞳传》所载，早在唐朝末期，祁门胡氏的始迁之祖胡瞳就落业于祁门。关于胡瞳如何迁居祁门，还有一段流传至今的令胡氏子孙啧啧称赞的壮举。胡瞳早年跟随其父姑苏太守胡福安家落户于歙县黄墩。当时，在乡里胡瞳以他的才具和勇气赢得了乡人的钦佩和折服。唐僖宗永中，胡衔、胡汉、胡应3人的子孙兼而有之。世居贵溪的胡氏则是胡汉、胡应两人的后代。
胡学是胡瞳最小的儿子。据《清华东园胡氏宗谱》卷2《始祖银青公别传》所载，他年少之时，聪明机灵，悟性过人。唐懿宗咸通九年(868)，他登进士第，官拜本路司户。唐僖宗乾符元年(874)，刚正不阿的胡学上疏皇帝，痛斥田令孜独断专行，无视皇帝。他还上奏天象有异常变化，这是不祥的征兆，预示着社稷有危。田令孜闻听此言，暴跳如雷，反而血口喷人，诬陷胡学诽谤大臣之罪。胡学被贬谪福州，然而不久他又被重新起用，担任舒城令。唐僖宗广明初年，黄巢攻陷长安，僖宗皇帝
仓皇避乱于四川，由于道途险阻，诏令不通，当时天下百姓几乎都认为唐皇室日暮途穷，不可能再东山再起。但胡学却对此充满信心，认为自古国家未尝没有不以患难而重新复兴的。此后他与李克用、王重荣等并肩作战，讨伐黄巢，为恢复唐室，重振河山作出巨大贡献。他也因为功绩卓著，官封宣歙节度讨击使、银青光禄大夫、散骑常侍、新安郡开国男。他的后代也因此尊称他为常侍公。
常侍公宦海沉浮、戎马半生，已生退隐之意。那么究竟归隐于何处呢?关于此事，在《清华胡仁德堂续修世谱》卷首《乐樵公纂述原委》还有一段娓娓动听的叙述：当时胡学不禁回想起年少之时曾经伴随胡瞳游览过的婺源清华。此时昔日的景象记忆犹新，清华水带山环、云屏月圃的美景浮现于他的脑海之中。清华有一处胜景，那就是通灵观洞。胡学曾经与父亲胡瞳投宿于通灵观，期间遍游诸洞。当时父子两人游兴大盛，题诗于洞内。其诗云：“三崖九洞出尘寰，问讯真人得纵观。丹熟已乘仙鹤去，云深惟有老龙蟠。铁船过海源流远