婺源古称“吴楚分源”，今位于皖、赣、浙三省交界处。境内千山万壑、水网纵横，以至于婺源人“出门见山，举步涉水”。独特的地理条件使它成为历史上一个隐居、避乱之所。正因如此它也成为胡氏的一个重要的发祥地。
据《清华东园胡氏宗谱》卷2《隋姑苏守福公传》、《祁门胡氏宗谱》卷2《唐检校尚书右仆射兼御史大夫胡瞳传》所载：
早在唐朝末期，祁门胡氏的始迁之祖胡瞳就落业于祁门。关于胡瞳如何迁居祁门，还有一段流传至今的令胡氏子孙啧啧称赞的壮举。胡瞳早年跟随其父姑苏太守胡福安家落户于歙县黄墩。当时，在乡里胡瞳以他的才具和勇气赢得了乡人的钦佩和折服。唐僖宗永中，胡衔、胡汉、胡应3人的子孙兼而有之。世居贵溪的胡氏则是胡汉、胡应两人的后代。
胡学是胡瞳最小的儿子。据《清华东园胡氏宗谱》卷 2《始祖银青公别传》所载：
他年少之时，聪明机灵，悟性过人。唐懿宗咸通九年(868)，他登进士第，官拜本路司户。唐僖宗乾符元年(874)，刚正不阿的胡学上疏皇帝，痛斥田令孜独断专行，无视皇帝。他还上奏天象有异常变化，这是不祥的征兆，预示着社稷有危。田令孜闻听此言，暴跳如雷，反而血口喷人，诬陷胡学诽谤大臣之罪。胡学被贬谪福州，然而不久他又被重新起用，担任舒城令。
唐僖宗广明初年，黄巢攻陷长安，僖宗皇帝仓皇避乱于四川，由于道途险阻，诏令不通，当时天下百姓几乎都认为唐皇室日暮途穷，不可能再东山再起。但胡学却对此充满信心，认为自古国家未尝没有不以患难而重新复兴的。此后他与李克用、王重荣等并肩作战，讨伐黄巢，为恢复唐室，重振河山作出巨大贡献。
他也因为功绩卓著，官封宣歙节度讨击使、银青光禄大夫、散骑常侍、新安郡开国男。他的后代也因此尊称他为常侍公。
常侍公宦海沉浮、戎马半生，已生退隐之意。那么究竟归隐于何处呢？
关于此事，在《清华胡仁德堂续修世谱》卷首《乐樵公纂述原委》还有一段娓娓动听的叙述：
当时胡学不禁回想起年少之时曾经伴随胡瞳游览过的婺源清华。此时昔日的景象记忆犹新，清华水带山环、云屏月圃的美景浮现于他的脑海之中。清华有一处胜景，那就是通灵观洞。胡学曾经与父亲胡瞳投宿于通灵观，期间遍游诸洞。当时父子两人游兴大盛，题诗于洞内。其诗云：“三崖九洞出尘寰，问讯真人得纵观。丹熟已乘仙鹤去，云深惟有老龙蟠。铁船过海源流远，玉柱擎天星斗稀。臂破莓苔认诗句，录归传作书图看。 ”(《清华东园胡氏宗谱》卷 7《东山集·游通灵观洞》)
清华的诗情画意使胡学赞叹不已，留连忘返，胡学当时还感叹说：“此地山水秀丽，居住在此，子孙可以繁荣昌盛。”岁月如白驹过隙，几十年已经过去，“清华依旧，夕阳几度”。当初所言言犹在耳，现在终于可以实现愿望了。于是他迁居于清华东园。
正如他在《卜居》诗中所描写：“逃名偷白日，避地得清华。堂启东山旭，园疏西渚沙。已劳令尹驾，时访野人家。战伐何时定，山中对紫霞。 ”(《清华东园胡氏宗谱》卷7《东山·卜居》)胡学终于摆脱尘世的纷扰，栖身清华，成为清华胡氏的始迁之祖。
常侍公定居清华之后，筑室造屋，营建家园。
据《清华胡仁德堂续修世谱》卷1《清华景物案录》所载，当时清华镇镇中有一条宽阔的大街，4坊分列两旁，环街共有9井13巷。
他生有8子：胡遵、胡崇、胡徇、胡文、胡武、胡愈、胡润、胡庆。8子分居4坊：胡遵、胡崇两人居住长寿坊；胡徇、胡武两人居住安仁坊；胡润、胡庆两人居住在桂枝坊；胡文、胡愈两人居住仁寿坊。
然而随着8子娶妻生子，胡氏人丁的兴旺，胡学子孙居住地的情况也发生了变化。所谓“奠故居者有之，宅嘉土者有之，肇他邦者有之”。
据《清华东园胡氏宗谱》的《历代渊源外纪图》及《世系图》所载：
常侍公长子胡遵义名稠，字延简，承袭祖荫，担任尚书。他因为曾经跟随祖父胡瞳保障祁门，所以安家落户于此。
他生有2子：长子胡瑙、次子胡蹈。胡瑙迁居十二都山坑胡村上店，他下传2世至胡仁晓，胡仁晓迁居