华林书院地处的华林山本身就是道教的一个著名山头。华林书院的学习内容已有道家的著作，宋人题咏中也经常提到华林与道教的关系，张洎说：“草堂临洞壑，仙药满庭除，近接真灵境，时回长者车。”姚秘说：“南纪仙乡景最佳，林泉幽致有儒家。”而胡仲尧与之交游甚笃的徐铉、王禹偁、王钦若都是宋初的著名道学家。都曾奉命为朝廷校譬整理道家经典，胡仲尧生前大力修建书院学校，也同样全力修建道观，如他捐资建闿业观，“增湫下为爽垲，易卑屋为崇光。栋宇之设，则因夫故基；制度之中，则考于经法。凡殿堂、门阙、居室、厨廪，延袤周偏，殆且百区。三尊众真，羽仪侍卫，精严肃穆，不可为状。履端闱，造广庭，悦然如从。”可见闿业观规模的宏大。胡仲尧生前修观，殁后也埋在华林山道教仙洞李八百洞右，“盖生既吟咏憩息于其间，死亦思羽化藏玉于其所”。
华林书院遗址
对于华林书院的建造时间，段玲玉、傅荣贤所撰《华林书院藏书略论——以宋初组诗为研究视角》一文中说：“华林书院是胡珰（891-946年）在南唐前期创办，并由其孙、北宋国子监主簿、教育家胡仲尧于北宋太宗雍熙（984-987年）初年扩建的一所私人书院。”看来，此书院的初创期可以追溯到南唐前期的胡珰，而这胡珰就是胡仲尧的祖父。
关于胡珰的祖上，虞文霞、王河所著《宋代江西文化史》一书中称：“华林胡氏是江西著名大族，其始祖为刘宋时的将军胡藩。据明代江西名人杨士奇《华林胡氏族谱》一文说：‘华林之胡，盖出于满（胡公满）。’”这里又讲到了刘宋时期的胡藩，看来胡藩才是江西胡氏的始祖。对于这个来由，胡氏族谱上称：“‘先世家邳之宿迁（今江苏宿迁县），至刘宋太子左卫将军藩有功于朝，赐土于南昌，乐华林山水而居之，遂终焉。”原来，奉新胡氏是来自于江苏宿迁县(宿迁县古称宿预县)。因为胡藩跟随刘裕攻打南燕立有战功，所以皇帝就赏赐了一块在南方的土地给他，但胡藩却喜欢奉新的华林山水之美，于是他就居住到了此地，而后就繁衍出了奉新胡氏。
对于这段事，《宋代江西文化史》中说：“胡藩字道序，尤擅长武艺，累立战功，曾任鄱阳太守，永嘉中位太子左卫将军，卒谥壮侯。而华林之地是因胡藩战功所封之地。也许是集山水之灵秀，胡藩生有六十多个儿子，诸子长大后析居各地，于是胡氏家族便成为盛族。自胡藩历二十四世，至唐末，华林胡氏有胡城者，官至侍御史，生有五子名珰、瑜、琼、诰(王傍告)、球，胡珰以宗子身份留居华林。这个以武功起家的华林胡氏，到了胡珰辈发生了根本转变，即以文风传家。”
对于书院的初始建造时间，按照《祭华林始祖侍御史城公祖妣耿氏夫人二墓文》的记载，华林书院的建造者也是胡珰：“唯长子珰，独居华林，家风孝友，为大宗家。元秀峰下，建立书院，筑室百区，广纳英豪，藏书万卷，俾咀其葩。”同样，道光年间所修的《奉新县志·垅墓志》中说：“珰居华林，以书堂闻天下。”
根据这些资料的记载，华林书院的建造人应当胡珰，那为什么有些资料上却说华林书院的建造者是胡仲尧呢？比如《宋史·孝义·胡仲尧传》中称：“（胡仲尧）构学舍于华林山别墅，聚书万卷，大设厨廩，以延四方游学之士。”这里直接称是胡仲尧建造起了华林别墅，并且在此藏书万卷，但并未提到其祖胡珰。而产生这种结果，则跟胡仲尧的一段经历有很大的关系，《宋史》中称：“（淳化）五年，（仲尧）遣弟仲容来贺寿宁节，召见仲容，特授试校书郎，赐袍、笏、犀带，又以御书赐之。公卿多赋诗称美。”
宋淳化五年，胡仲尧派他的弟弟胡仲荣前往朝中贺寿，皇帝召见了仲荣，而后给他封了一个官，同时还赏赐了不少物品，这其中就包括了皇帝的御书。得到这样的奖赏让朝中的大臣们都十分羡慕，同时“华林书院”之名也在朝中流传开来，有很多人给华林书院题诗歌咏此事，著名诗人王禹偁在《诸朝贤寄题洪州义门胡氏华林书斋序》中有如下的描述：“今岁寿宁节，胡氏子有献华
