在夏洛茨维尔发生火灾后不久，杰斐逊写信给朋友约翰·佩奇。在这封长信里，杰斐逊根本就没有提到他自己和母亲的损失，只是稍微提到“母亲的房子”被烧毁了，提到最多的反而是被烧毁了很多信件和几本很重要的书。从他的信件中可以看出夏洛茨维尔火灾的发生似乎是一种信号，一种要了却杰斐逊曾经对母亲的依赖之情的信号。在夏洛茨维尔火灾发生的时候，杰斐逊正在蒙特沙罗建造属于自己的房屋。而杰斐逊在与妻子玛莎·威利斯·斯凯尔顿结婚的时候，也是在蒙特沙罗自己建造的房屋里——当时还只是一片荒芜的山顶上的小屋。
在1776年3月31日，也就是距离夏洛茨维尔火灾之后的六年，杰斐逊只是在他的小账册里用很简单的话写着：“母亲今早大约八点钟的时候过世了，享年57岁。”在这之后的两个月，杰斐逊把噩耗写信告诉远在英格兰的舅舅。杰斐逊的这封信，刚开始是向舅舅倾诉这几年自己的事业总是遇到挫折，这两年英国与美洲的殖民地之间产生了微妙变化，双方慢慢走向对立，而这让自己很是烦闷。只是在信的末尾，杰斐逊才突然提到母亲因为患了中风而去世的消息，就简短几句话，又是一带而过。而信中唯一能够说明杰斐逊还是很在意母亲的去世并且受很大打击的是，他不经意地说出，在3月底的时候自己突然病倒了。这无非是母亲去世让他悲痛无比，而且他还为此患上了十分缠人的头疼病。在以后的日子中，杰斐逊的头疼病发作过好几次。每次在杰斐逊遭遇人生的剧变之时，他的头疼病就会发作，遭受的挫折以及病疼让他不断悔恨和矛盾，悲愤之情总会不断涌出，而导致病情恶化。
那么，怎么样才能了解杰斐逊的母亲对他的影响呢？我们不妨看看在杰斐逊的《自传》里面，他对母亲是如何记载的。在《自传》里关于母亲的记载，却感觉到杰斐逊对母亲有反面讽刺的意思。杰斐逊在《自传》中说：“简·伦道夫·杰斐逊是艾沙姆·伦道夫的女儿。艾沙姆有兄弟七人，这一家子定居在顾屈兰的丹金尼斯，他们追溯自己的血统，来自遥远的英格兰与苏格兰，对于这一点，你爱怎么相信就怎么相信吧！”
这是为什么呢？突然对母亲的家族甚至母亲都有着十分暧昧并且带有稍微轻视态度。而且他一个朋友的资料中也写了杰斐逊对母亲的评价——“他认为她在他生命中的分量是个零”。这话当然说得有些过了，因为没有哪一个母亲在儿子生命中的分量会是零。那么这是为什么呢？这很可能是杰斐逊觉得母亲在他生命中的影响实在是太大了，大得令他窒息，他对这种影响由原来的依赖和敬爱转成了抵触，所以，他想抹去他对母亲的意见和感情的痕迹，也想尽力逃避母亲对他的影响。
那么，我们不得不说，杰斐逊提到家谱的那一段可能是个重要的线索。杰斐逊的父亲彼得·杰斐逊是威尔士人的后代，在“新大陆”已经是第三代的移民。数百年以来，威尔士人一直对英国怀着仇恨和不满。如果杰斐逊的父亲没有过早去世的话，他很可能会出现在独立战争的战场上。然而他的妻子，也就是杰斐逊的母亲，却出生在英国，在“旧世界”里的家族中深受影响。杰斐逊的外祖父——艾沙姆·伦道夫是个船长，曾在弗吉尼亚殖民地的威廉玛丽学院受过教育。那时候，艾沙姆是从事奴隶买卖行业的，并在这个行业中做得很出色。根据弗吉尼亚的标准，他算是十分富裕的。他的房屋众多，而且宽敞明亮，他还有一百名奴隶服侍自己。杰斐逊家中有人曾说，杰斐逊的母亲嫁给父亲，只能住进夏洛茨维尔这种潮湿而原始的森林中的一片小土地的时候，总感到自己的地位下降了很多。
对于祖先和血统这种问题，杰斐逊向来很是轻视和鄙夷。所以，他在《自传》中提到母亲的祖先时所显示出来的轻蔑，正暗示着这样的一种矛盾。
由于对家族和血统的问题而牵连了母亲，杰斐逊也正是在这种矛盾中看待母亲的，敬爱、依赖，而又不断轻视和逃避关于家族和血统的承载者。
有趣的是，杰斐逊在快要结婚的时候，为了获得未来妻子一个好的评价，就写信给他在英国的代理人——汤姆斯·亚当斯，求他帮忙。他用有些讽刺和轻蔑的言辞，请亚当斯为他在伦敦找一找是否有他家曾经有过的贵族的纹徽。杰斐逊说：“家人曾告诉过我，我家的纹徽是什么样子的，但是怎么来的我却不知道。很可能我家根本就没有什么纹徽。假使这样，我倒想借助于你，做一次买卖，因为根据史特恩的说法，那有着贵族纹徽的罩袍和其他任何的罩袍一样便宜呢！”
杰斐逊在他一生当中，每当遇到一些碰巧有着高贵的出身就自命不凡而且咄咄逼人的社会人士，都会毫不留情地对这些人进行猛烈的攻击。
虽然，我们对于杰斐逊与母亲的关系了解得不多，可是从一些很明显的事实当中我们了解了杰斐逊对女人的看法是怎样的。杰斐逊喜欢文雅而又循规蹈矩的女人。杰斐逊的女儿玛莎结婚的时候，他写信给女儿。从这封信的内容，我们就能看出，杰斐逊是怎么看待女人的：“你一生的幸福，现在就全看你是否能够不断地获取一个人的欢心而定了，为了这个，所有其他的事情都必须退居次要的地位，就连你对我的爱也不例外……”
由上述内容我们能看出，杰斐逊只在能真正埋藏住自己的情感，而对任何事情都保持理智的时候，才会简单地提起自己的母亲，可见，杰斐逊与母亲大部分时候都是对立着的。但是杰斐逊却和他的母亲一起住到他27岁，既然是对立的两人，那么在如此长的时间里，杰斐逊可能是备受煎熬的，也是痛恨这种生活的，并且他只是一味听从和同意母亲的意见，这种生活当然是单调而乏味的。杰斐逊说，如果人生能够重新再活一次，他再也不愿意回到25岁以前的那种生活了。那么，既然已经对立和产生不满，为什么还能够和母亲一起生活那么久呢？这只能说明一个问题，那就是，杰斐逊一定是在骨子里面深爱着母亲，只是自己不愿意承认罢了。
在吐卡霍的日子
很多人一定会说，杰斐逊在有着6个兄弟姐妹的家庭中，受到父亲的器重和鼓励，在家中必然是十分受宠的，是最有希望的继承人，受尽家人和朋友，还有许多奴隶特别的优待，这样才合乎他当时的地位，这样他以后才能够有能力当上总统。
但是，事实并非如此。杰斐逊的童年并不像许多人想象的那么简单。杰斐逊自己所记得的第一件事，就是在一个河边，有一队奴隶，一个骑马的奴隶抱着他，然后这一队人便起身走向河的下游，走向了吐卡霍。
前面我们也说过，威廉·伦道夫曾经给了杰斐逊的父亲一片土地，让他建造夏洛茨维尔那个家，后来威廉·伦道夫一直都是杰斐逊家的朋友。威廉·伦道夫的妻子在1742年之前就已经去世了，留下了两个女儿和一个儿子。由于威廉·伦道夫自己总是疾病缠身，就邀请杰斐逊的父亲和其他人一起协助管理他的产业，并请求杰斐逊的父亲，如果他什么时候去世，请他全家搬迁到威廉·伦道夫的家里来，请杰斐逊的父亲将两家的子女合在一起抚养，杰斐逊的父亲很爽快地答应了。不久，威廉·伦道夫就病逝了。于是，杰斐逊的父亲按照之前与威廉·伦道夫的约定，于1745年，全家日夜兼程地走了大约80英里，搬到了吐卡霍。杰斐逊说自己所记得的第一次骑马过河去往吐卡霍，就是指的这件事。
这次搬家，杰斐逊除了感到疲惫与苦恼，还有其他的事情让杰斐逊印象深刻。
来到了吐卡霍，杰斐逊住进了十分陌生的房子，那里还有一个9岁和一个7岁的女孩子，还有一个名叫托马斯的4岁男孩。这几个孩子已经有自我意识了，知道为了保护自己而去欺负弱小。搬到吐卡霍之后，杰斐逊突然由家中的长子变成了最幼小的，这样的情况一直持续了7年。杰斐逊在回忆威廉·伦道夫家的托马斯时说，自从五六岁以来，他们便像兄弟一样亲密，也像兄弟一样团结。但事实是，在二人长大成人之后他们便相互敌视与攻击，并且曾经因为财产的问题发生过争议。在吐卡霍，杰斐逊虽受尽威廉·伦道夫家的男孩托马斯的欺负，却也经常得到姐姐玛丽的保护与鼓舞。不过在众多的姐妹里，杰斐逊最喜欢的是简，二人的姐弟情谊十分深厚。
搬到吐卡霍一年之后，杰斐逊的母亲又给自己添了一个小妹妹玛莎。不过，杰斐逊在吐卡霍发现，在那里，很多东西的所有权界限分明，威廉·伦道夫家的房屋远远比他在夏洛茨维尔的家大得多，也宽敞得多，而且威廉·伦道夫的家可以让两家的孩子晚上分开就寝，但是，这却是清清楚楚的属于威廉·伦道夫家的，而这一点，威廉·伦道夫家的孩子也已经明明白白地向“入侵”的杰斐逊家声明过了。所以，在以后杰斐逊所有的信件里面，每当他回忆起在吐卡霍的日子，都表现出寄人篱下的痛苦，以及时时刻刻想念着马上回到自己家的情感。
在吐卡霍这个地方，有一百多个奴隶，杰斐逊是白人家庭里的一分子，这个家就由他父母去掌控。而同时，杰斐逊也是一个更大的黑人家庭中的一分子，而那个家庭就由为数不多的白人管治着。直到杰斐逊9岁的时候，他所在的地方，黑人与白人的比例最少也都是十比一。杰斐逊当然也会和那些男男女女的黑人小孩在一起玩。吐卡霍这个地方是靠着十分严谨的规则维持着的，这其中难免会发生白人歧视黑人的事情。
在杰斐逊5岁的时候，附近奥兰治郡的一个农场，有个叫夏娃的女奴隶被人指控说她谋害了自己的生母，然后被绑在柱子上活活烧死了。但这并不是私刑，只是警长执行当地法庭的命令而已。
在吐卡霍的孩子们完全不用经过特别的教导，他们自己就能感觉到，黑人与白人之间有着十分微妙的阶级权力的差异。所以，杰斐逊很早就明白了，不管是大人还是小孩，白人总是统治着黑人的。而且，杰斐逊同时还发现了一个关于白人小孩与黑人小孩之间的差异，那就是只有白人小孩才能去学校学习。
杰斐逊5岁的时候，父亲就让他到院子的小屋里，和比他大的孩子们一起读书学习，那是一个家庭教师开的一所英文学校。最初，杰斐逊很不喜欢这样的所谓的学校。有一天，杰斐逊悄悄从学校溜了出来，藏在一间房的后边，祈祷学校能够早点倒闭。
不知道杰斐逊是从什么时候开始就感觉到黑人小孩不能和白人小孩一起上学是不公平的。在杰斐逊长大之后，他在《弗吉尼亚纪事》里提出了一套让很多社会上层人士都觉得又惊异又愤怒的看法。他说，为什么黑人就没有接受教育的权利呢？其实所有黑人青年都应接受很多方面的教育和辅助。他呼吁，黑人男子在21岁，女子在18岁之前，都应该接受教育，而教育的费用应该由公家负担。
虽然对黑人的不公平待遇感到很愤怒，但是杰斐逊在为种族之间的不平鸣冤的时候，却又感觉黑人与白人不能够共同相处，应该将他们隔离。这么看来，杰斐逊对黑人的态度是很矛盾的。
我们举个例子来说，杰斐逊既建议黑人接受教育，同时又建议黑人殖民。杰斐逊说：“当黑奴接受过教育，得到真正意义上的解放之后，应该视当时的情况，把他们派往适合他们的地方，让他们接受更深一层的实践教育，让这些人能够成为真正的独立自主的人。在这其中，我们应该全力去支持和鼓励他们，让他们能够强大到有能力保护自己。”
当然，杰斐逊在创作《弗吉尼亚纪事》的时候，对于自己提的这种用国家的钱资助、鼓励和殖民黑人的建议，并不是凭空想象的。杰斐逊考虑到，在进行独立革命的时候，有很多的奴隶逃到了英国，并希望自己能够真正获得自由。同时，在英国的土地上，还有从美洲撤出的两万名奴隶。但是不管怎么样，杰斐逊的这种建议，即使在他当时的年代，也让人觉得是天方夜谭。由于从小，尤其是在吐卡霍的日子，看到过太多黑人被歧视的现象，杰斐逊也承认，不管是曾经保护过他的成年奴隶，还是曾经与他玩耍的黑人小孩，他们所承受的，都是不平等与残酷虐待的痛苦。
杰斐逊的父亲给家里的每个孩子都留了一个服侍自己的奴隶，因此，杰斐逊在14岁的时候就有了一个专门服侍他的男仆。直到杰斐逊去世，他都只有这一个私人奴仆。即使是这样，杰斐逊对这些奴仆的情感和依赖仍是不可替代的。杰斐逊与他们之间永远存在着一种类似亲人般的羁绊。
离家之后
终于，等到了一个天大的好消息。就在杰斐逊9岁的时候，父亲决定返回夏洛茨维尔。正是经历了这种所有权不明朗的7年，父亲也意识到了这是个大问题，而且威廉·伦道夫家的孩子也已经在逐渐长大。
等到父亲回到夏洛茨维尔之后，他立刻又建造了一栋新屋及马厩、磨坊、烟叶库房与仆人房。杰斐逊并没有跟着家人一起回去。杰斐逊要上学了。父亲觉得杰斐逊应该接受更多的古典教育，所以送他到离吐卡霍几英里地之外的多佛教堂去。那边有个叫做威廉·道格拉斯的牧师，他可以教杰斐逊学习拉丁文、希腊文和法文。就这样，杰斐逊全家又进行了一次大迁徙。然而，就在杰斐逊正为能够回到夏洛茨维尔而欢呼的时候，却又听到了让他真真正正离开家人的消息。