，内容有很大区别，《殷芸小说》中加工改动的痕迹明显，例如，为了说明胡广姓胡的原由，殷芸将“瓮”改为“葫芦”，用以说明胡广托葫芦而生乃姓胡。作为史实，《语林》和《殷芸小说》是不能单独作为证据使用的。
胡广的身世是清白的，虽然出生于俗谓恶月的五月五日，但并没有被父母遗弃的经历。《后汉书》本传的记载、《蔡中郎文集》的记载、华容《南郡胡氏族谱》的记载，具有高度的一致性和可信性，足以否定《殷芸小说》的说法。《东观汉记》、《后汉书》所载《胡广传》中，均有胡广“时年已八十，而心力克壮，继母在堂，朝夕瞻省，傍无几杖，言不称老。及母卒，居丧尽哀，率礼无愆”的记述，说明胡广本大孝之人。大孝之人，是不可能“不治本亲服”的。胡广本由“举孝廉”入仕，不孝是不可能获举的。清汪由敦《松泉集——[文集]》载:“以伯始之孝于后母，岂有忘其本亲者乎”。
胡广本姓胡，并不姓黄。胡广是西汉末年大司空掾胡刚（公元前50—公元29？）的六世孙，东汉交趾都尉胡宠（73—150）和江陵黄氏（75—93）所生之子。由于其母亲姓黄，胡广才取名“廣”。“廣”本身含有其母姓黄的信息。按照现代人的观念，胡广可以姓黄。但是，按照当时的制度，胡广只能随父姓胡。胡广三岁丧母，所以《后汉书》称其“少孤贫”。胡广母亲去世后，父亲胡宠续娶了原配的妹妹黄列嬴（76—169）为妻，楚俗曰“填房”，这就是胡广继母，遂有史书上的“继母在堂，朝夕瞻省”的记述。有文献说胡广父母早亡，遂称其“少孤贫”，这也是不准确的。