前述三章着力呈现状况，即：通过展示实践与勾勒理念，阐述胡适言论自由思想“是什么样”的问题；本章则是扼要探讨原因，即：在时空中探究生成理路，分析胡适言论自由思想“何以如此”的问题。以下将关注地域文化、家庭影响、教育作用、人际关系等主要相关因素。需要强调的是，无论解读胡适在言论实践中的具体作为，抑或阐释他所秉持的言论自由基本理念，皆不能只关注上述某单一要素的影响作片面的解读，而应予以全面、立体的综合考察。
一、家庭的因素
1891年12月17日，胡适生于上海；但依籍贯，他是安徽绩溪人。绩溪旧属徽州府，胡适对于“徽州人”这一地域身份极为看重。对此，唐德刚先生曾评论：“胡先生是安徽人，哥大出身，北大成名。因而他对这三重背景都存有极深厚的温情主义，而且老而弥笃。”胡适的口述自传首句便为“我是安徽徽州人”；并且还专设一节论“徽州人”。1960年在撰写《〈詹天佑先生年谱〉序》时，行文之中他以“绩溪后辈”自居，落款则为“绩溪胡适”，这在其大量的序跋文章中极为少见。因此，目前已有不少论者从“徽州文化”角度研究胡适。
的确，徽州故里的生活经历、徽州地域文化的浸润，对胡适影响甚深——这些活跃的徽州因子或隐或显于他的生活方式以及讲学议政之中。胡适曾为绩溪旅台同乡会题字“努力做徽骆驼”。
此语亦是他用以自勉的座右铭。何谓“徽骆驼”？通常可作二解：其一，用来比喻徽州人为正义奋斗、宁死不屈之性格。其二，则是对驰骋中国商界数百年的徽州商人的誉称，旨在赞扬历代徽商历尽艰苦、冒险创业的精神。这两种解释皆含有坚韧、顽强之意。
笔者认为：终其一生，无论实践抑或理念，争取言论自由方面，胡适始终是只“徽骆驼”。
胡适出生之时，父亲已经年届50，母亲则才年方18；他是大家庭中的幼子，6位异母兄姊都年长甚多。胡适一生，从其自己所言“做人的训练”直到终生职业道路的选择，诸多方面都存有父母影响的烙印。因而在胡适言论自由思想的形成理路中，家庭因素值得关注。
（一）父亲——“我是我父亲的儿子”
胡适年幼失怙，但受父亲影响甚深，他曾写道：我父亲死得太早，我离开他时，还只是三岁小孩，所以我完全不曾受着他的思想的直接影响。他留给我的，大概有两方面：一方面是遗传，因为我是“我父亲的儿子”。一方面是他留下了一点程朱理学的遗风。
其实父亲的影响比胡适所述更为深远。胡适父亲名胡传（1841—1895），原名守珊；字铁花，又字守三；号钝夫。家中历代以经营茶叶贸易为生，胡传自幼学习经商、料理店务；不过由于十分聪颖，为首开家族读书风气的伯父所赏识——“有这样资质的青年子侄，实在不应该在一个小茶叶店里埋没”。于是胡传便被家中长辈特地选出，让他专心读书、参加科举考试。1865年，胡传不负族望成为秀才，但此后数次都未能如愿通过“乡试”考中举人。因而决定继续进修，1868年春前往上海，在当时大儒刘熙载主持的“龙门书院”求学。其间，他刻苦研读经史，注重躬行实践；讨论切磋，收获甚多，并且养成了对中国地理的研究兴趣。3年的书院生活与胡传后来事业前途关系甚大；他也深深眷念这段读书生活，不仅在年谱与日记中详细记录学习生活，还保留了所有的读书笔录与札记心得。1881年，胡传借钱离开家乡，远游北京以图发展。到北京后仅凭两份荐书，旅行42天到边疆重镇宁古塔。他以其独闯关东的坚忍毅力、丰富的边疆地理知识，获钦差吴大澄的知遇，自此开始脱颖而出、逐步踏上仕途，最后居然官至台湾的知州兼统领。商家子弟胡传通过个人不懈奋斗挣来的“士大夫”身份，以及在此过程中拓展的社会关系网络，为胡适日后发展奠定了坚实基础。此外，作为一个职业读书人，在正途不通的状况下，胡传勇于独辟蹊径的作为，亦对胡适影响甚深——不喜追随他人而好主动开拓。
1895年7月，胡传病逝，其时胡适方才三岁零八个月。父子二人真正相处时间虽然不足两年，但是父亲对儿子的影响力不可低估。这在教育方面尤为突出。
其一，他的遗嘱让胡适求学之路得以顺畅。胡传辞世之前，写给妻子的遗嘱中称胡适天资颇聪明，应该令他读书；写给胡适的遗嘱也勉励他努力上进读书。1930年，胡适表示：“这寥寥几句话在我的一生中有重大的影响。”父亲遗嘱的威力以及自己的禀赋才性，终让他在接受九年传统教育之后，能于1904年前往上海接受现代教育。若非如此，胡适的人生轨迹应该将有重大变动。
其二，为胡适编撰高起点的启蒙教材。胡传注重对儿子的教育，公务繁忙仍坚持教胡适认字，并且认真讲解每个字的意思。
不满4岁的胡适正式进入私塾读书时，由于已经识得千余字，直接跨越一般儿童该念的《三字经》、《千字文》、《百家姓》、《神童诗》，所读的第一本书是父亲自己编撰、亲笔抄写的《学为人诗》，该书是胡传毕生阅历的结晶，讲“做人的道理”。第二本书亦是胡传自编之书——“略述哲理”的《原学》。
这两部书虽然都是四言韵文，但是当时私塾先生“讲不了”，胡适因此也“懂不了”；不过熟读成诵之后潜移默化的力量不容＿以教民忽视。如罗志田教授曾分析《学为人诗》，指出胡传总结的“率性”与“作圣”的道理，影响了胡适的一生：既“重自然的发展”又以“人伦准则约束之”，这虽是典型的儒家观念，但与赫胥黎《进化论与伦理学》的见解其实也颇相近。观察胡适一生，正是在“率其性”和谨勉以学为人之间游移，以知其不可而为之的真孔子的态度，虽不能至但始终向着“作圣”的方向努力。
此外，胡传虽然不曾受过近世自然科学的洗礼，但他崇奉程颢、程颐和朱熹，信仰宋儒理学；因而不言“怪力乱神”，对当时盛行的迷信以及流行的宗教，皆毫不犹豫地予以怀疑与批判。胡适曾回忆道：“我父亲是一个经学家，也是一个严守朱熹（1130—1200）的新儒教理学的人。他对于释道两教强烈反对。我还记得见我叔父家（那是我的开蒙学堂）的门上有一张日光晒淡了的字条，写着‘僧道无缘’几个字。我后来才得知这是我父亲所遗理学家规例的一部。”
父亲逝世后，成长环境中的女眷个个深信神佛，幼年胡适深受熏陶——“生长在拜偶像的环境，习于诸神凶恶丑怪的面孔，和天堂地狱的民间传说”。不过，11岁时胡适在《小学》中读到司马光的家训——“形既朽灭，神亦飘散，虽有锉烧舂磨，亦无所施”，精神受到震动；继而在《资治通鉴》中读到范缜“神灭论”的见解更是心悦，从此成为无神论者。
胡适的宗教生活何以发生这一“特异的激变”？父亲的遗传非常重要，胡适曾有解释：“范缜的比喻，引起了我幼稚的幻想，使我摆脱了恶梦似的因果绝对论。这是以偶然论来对定命论，而我以十一岁的儿童就取了偶然论而叛离了运命。我在那个儿童时代是没有牵强附会的推理的，仅仅是脾性的迎拒罢了。我是我父亲的儿子，司马光和范缜又得了我的心。”
程朱理学还极力提倡“格物致穷理”，教人“即物而穷其理”；胡适认为“这就是近世科学的态度”。胡传编撰的启蒙教材《学为人诗》和《原学》，都贯穿了“程朱一系格物穷理的治学态度”。
胡传所保存的龙门书院求学时的“日程”与“日记”，卷端皆用红字印有宋儒的语录，如张载的“为学要不疑处有疑，才是进步”，甚至成为胡适一生的治学格言。他曾说个人信仰是“做学问要于不疑处有疑，待人要于有疑处不疑”。可见，胡适严谨的治学态度、严肃的怀疑精神，无疑承接了胡传笃信宋儒理学的遗风。
诚如胡适所言“我是我父亲的儿子”，父子二人不仅有生命上的延续，更有精神上的传承。胡颂平的一段感想可资佐证，他曾任晚年胡适的秘书，1959年1月9日晚读胡传的年谱——《钝夫年谱》之后，叹道：“只觉得太老师铁花先生那种坚苦卓绝的志行，那种求真负责决不苟且的精神，和他的内行之笃，天性之厚的种种行谊，一口气读完，已是清晨两点多了。读后感到先生那种弘毅的德性，好像是太老师的缩影，真是‘其来有自’。”
（二）母亲——“我都得感谢我的慈母”
1930年，胡适撰写自传文章之时，满怀温情与感激地写道：我在我母亲的教训之下住了九年，受了她的极大深刻的影响。我十四岁（其实只有十二岁零两三个月）就离开她了，在这广漠的人海里独自混了二十多年，没有一个人管束过我。如果我学得了一丝一毫的好脾气，如果我学得了一点点待人接物的和气，如果我能宽恕人，体谅人——我都得感谢我的慈母。
胡适母亲名冯顺弟（1873—1918），她是家中长女，品格纯良端方，深得父母钟爱，家贫而懂事早。胡适的外祖父耕种田地，兼做裁缝，最大的愿望是重建“太平天国”运动中被焚的祖屋，因而坚持每天早晚各担三担石头用来建房。父亲的这份专注与虔诚影响冯顺弟至深；同时她也暗恨是女儿身，无力减轻父亲负担，促他实现梦想。1889年，已经两度丧妻的胡传遣人上门提亲，父母本不同意年仅17岁的女儿，嫁给已经48岁的男子。不过冯顺弟本人愿嫁，“为的半是英雄崇拜的意识，但大半却是想望帮助劳苦的父亲的孝思”；因为“嫁与中年丧偶、兼有成年儿女的人做填房，送给女家的聘金财礼比一般婚媾却要重得多”。这种注重实际的态度对胡适影响甚深。
1890年，冯顺弟随夫来到上海，胡传“每日在百忙之中教她读书认字”。后来胡传教胡适认字时，冯顺弟在旁做助教，“我认的是生字，她便借此温她的熟字。他太忙时，她就是代理教师。
我们离开台湾时，她认得了近千字，我也认得了七百多字。”绩溪乡下庄稼人的女儿识字之后，眼界自然不同往日目不识丁之时，这对胡适的成长自然很有裨益。
好景不长，1895年胡传逝世，自此23岁的冯顺弟，守着年幼的胡适，又过了漫长的23年——“这二十三年的生活真是十分苦痛的生活，只因为还有我这一点骨血，她含辛茹苦，把全副希望寄托在我的渺茫不可知的将来，这一点希望居然使她挣扎着活了二十三年。”
1914年6月8日，胡适在日记中写道：“吾母为妇人中之豪杰，二十二岁而寡，为后母。吾三兄皆长矣，吾母以一人撑拒艰难，其困苦非有笔墨所能尽者……”的确，穷家难当，后母难为。
胡适曾言：“这种生活的痛苦，我的笨笔写不出一万分之一二。”
尽管遭遇诸多苦楚，冯顺弟一身兼慈母与严父的双重角色，矢志不渝地培养胡适读书上进。
其一，为胡适筹措优厚的学金。冯顺弟望子念书心切，胡适不满4岁即入私塾。对于家用她向来节省，对于儿子的学金却出手异常大方。别的家长每年只送两块银元的学金，她第一年就送了常人的3倍——6块；而且逐年增加，最后一年增至12块。
“这样的学金，在家乡要算‘打破纪录’的了。”对于“两元”阶级的学生，先生自然不肯耐心教书，每天只教他们念死书、背死书。读书无趣味，自然会逃学，于是先生责罚，他们更加厌学，由此形成恶性循环。对于胡适，先生受其母之嘱托特意为他“讲书”——“每读一字，须讲一字的意思；每读一句，须讲一句的意思”。
因此，胡适不感觉读书苦；并且喜读书中所记古人的嘉言懿行。“增加学金的大恩惠”不止如此——一位念过《四书》的同学，竟然不懂家信中“父亲大人膝下”是何意，这让胡适意识到：“我才明白我是一个受特别待遇的人……我一生最得力的是讲书：父亲母亲为我讲方字，两位先生为我讲书。念古文而不讲解，等于念‘揭谛揭谛，波罗揭谛’，全无用处。”
其二，予胡适以“做人的训练”。40岁时胡适回忆：9年的家乡生活，“除了读书看书之外，究竟给了我一点做人的训练。在这一点上，我的恩师就是我的慈母。”
冯顺弟几乎每天施以“晨训”——“每天天刚亮时，我母亲就把我喊醒，叫我披衣坐起。我从不知道她醒来坐了多久了。她看我清醒了，便对我说昨天我做错了什么事，说错了什么话，要我认错，要我用功读书。有时候她对我说父亲的种种好处，她说：‘你总要踏上你老子的脚步。我一生只晓得这一个完全的人，你要学他，不要跌他的股。’（跌股便是丢脸，出丑）”这一蕴含责任与期待的“晨训”仪式，让胡适铭记终生。此外，她的家教也很有特点——“她从来不在别人面前骂我一句，打我一下，我做错了事，她只对我一望，我看见了她的严厉眼光，便吓住了。犯的事小，她等到第二天早晨我眠醒时才教训我。犯的事大，她等到晚上人静时，关了房门，先责备我，然后行罚，或罚跪，或拧我的肉。无论怎样重罚，总不许我哭出声音来，她教训儿子不是借此出气叫别人听的。”