杰斐逊还鼓励一个很有思想的年轻诗人菲利普·弗烈诺创办了一份共和党报，叫《国报》，开始对汉密尔顿进行一连串的攻击。汉密尔顿也不甘示弱，也以各种笔名在《美国公报》上进行反击，于是展开了1792到1793年之间的报纸大战。汉密尔顿把国务卿比喻成僵尸和毒蛇，说杰斐逊阴险狡诈，野心勃勃，还说他倡导国家分裂，蔑视国家意义，主张公众混扰和耻辱。后来汉密尔顿决心要把杰斐逊逐出内阁，因此向华盛顿递了一份正式的诉状。而杰斐逊也从蒙特沙罗写了封言辞十分激烈而痛苦的信交给华盛顿，说汉密尔顿总是搅和国务院的事，并且在报纸上对他进行人身攻击，还泄露财务机密给他的亲戚，而且不喜共和政体，却偏爱世袭制度。
华盛顿看到自己内阁里面两个最有才华的人居然对阵攻击，感觉像有深仇大恨似的，他感到很震撼，马上分别写信给两人，让他们停止这样的斗争。
1793年10月初，由于杰斐逊与亚当斯和汉密尔顿三个人之间的极端不合，华盛顿决定再续任一届总统，而不轻易把国家交付给他那些吵嚷不休的后生们。
1792年9月29日，汉密尔顿又用笔名写文章攻击杰斐逊，说他骨子里沉迷于酒色，藏在简朴的教友派外衣之下。后来，杰斐逊委派弗吉尼亚州的一个国会议员，提出一系列的议案，要求国会调查汉密尔顿是否有贪脏枉法的事情。
原来，1792年11月，杰斐逊接到密告，说汉密尔顿与一项财务舞弊案有关，由于这件事与他私生活上的不检，他正在遭受一名神秘人的勒索。杰斐逊很是希望借着调查绯闻而抖出汉密尔顿挪用财务基金牟利的罪状的，所以就积极地参与这件事。1792年12月15日，三位国会议员带着几封对汉密尔顿不利的信，前去他的办公所在的地方对他质问。汉密尔顿承认了奸情，却否认有财务上的不法勾当。
1793年年初，杰斐逊草拟了一连串的质询案，其中几项指控汉密尔顿把在欧洲筹得的款项，擅自改变处理方式而不通知国会，还有他在美国银行磋商的一项贷款违反公众利益，最后指责他对众议院的态度狂傲，并操纵市场，是图利投机分子，财务部的账目也不清。对于这次的质询，弗吉尼亚州的国会议员，威廉·布朗区·吉尔斯共提了九大项，对于之前杰斐逊所提的那些，认为罪证不足。吉尔斯在1793年2月27日的国会休会前三天在众议院里提出，认为汉密尔顿如果没有充分时间准备作完整的答复，那么这些丑闻再拖一段时间就会更丑了。没想到汉密尔顿却在两天之内就已经准备妥当，对这些所列的各项指控都进行了答辩，而且反应十分机敏，言语也很诚恳，因此大部分的议员认为汉密尔顿没有罪。
就这样，杰斐逊在这次斗争中再次失利。1793的4月，杰斐逊也有50岁了，最后，他留任国务卿的职位到了12月底。
卸甲归田的生活
1794年1月，杰斐逊卸甲归田，在蒙特沙罗过上了隐居生活，直到1797年的2月他才离开此地赶往费城去担任副总统，这三年的时光，是杰斐逊一生中最让人捉摸不透的一段时期，很多人认为杰斐逊实在是太累了，而且一直都向往田园生活，但是更有人觉得他只是在耍噱头，故意装出来的。
在这三年之中，萨莉·赫明斯在1795年的10月5日和1796年生了两个女儿。杰斐逊确实在这段时间里把政治完完全全放下了，他隐居后不久就不再订阅报纸，而且对外的通信也大大减少了。杰斐逊觉得田园的生活幽静而又甜美，让人心旷神怡，备感舒适，他的身体也一直处在很健康的状态，而且在权力感上也感到十分满意。在蒙特沙罗，他就是主宰，而且没有任何对手跟他争夺权力，家里的亲人和奴隶们也总会把关爱和崇敬倾注在他一个人身上。
在他刚刚退隐的时候，女儿玛莎和丈夫由于忙于家里的事情只是偶尔会来，朋友们也只在夏天的时候才会过来聚会，所以杰斐逊多半的时间都是跟他的一百多名的黑奴一起生活的。1794年，好友麦迪逊结婚了，在第二年的春天他带着妻子到蒙特沙罗来拜访杰斐逊，这让他十分欣喜和欣慰。
在杰斐逊归隐的第一年中，他辛勤地在农田工作。为了恢复土壤的肥沃度，杰斐逊设计了一套精密的轮作方法。他建造了一个小型的钉子工厂，年轻的奴隶们每天可以生产一万枚钉子，这给他带来了大量的他所需要的钱。不过后来却碰上来自英国的廉价钉子到美国大量倾销，夺走了他的市场。而在这一年，杰斐逊的《园艺簿》又开始记载了。杰斐逊计划着把自己的1500英亩的粗地，变成修整有序的英国乡村风景。
1795年，杰斐逊收到了两封玛丽亚的来信，这让杰斐逊觉得很意外。不过信中她也没有提什么特别的，只说自己已经回到了英国。后来杰斐逊过了六个多月才回信，说他现在已经完完全全成为了田园的农夫，并说他此时的生活就像伊甸园里的生活。
后来杰斐逊才知道，田里的损失其实根本算不上什么，相比家中的爱与平静的流失，简直就不值一提。玛莎的丈夫伦道夫突然变得很暴躁，而且还经常发脾气。那是1794年的8月，女儿玛莎的丈夫伦道夫不知怎么就患上了一种很奇特的病，他开始不停地去看医生，先是远到波士顿去看，后来又走遍了弗吉尼亚境内的每个角落，还是不见好。杰斐逊知道女婿患的是精神上的病症，但是他又不忍心告诉女儿。伦道夫的很多朋友也都说他是个怪才，是个狂想者，是丰富而荒诞的想象下的牺牲品，而与占有欲极强的亲人一起住，更会加剧他的病情。有一次伦道夫很坦白地告诉杰斐逊说，住在蒙特沙罗使他觉得像寓言里的傻鸟，无法在天鹅群中感到自在。而玛莎总会认为对父亲的爱大于任何情感，这更让她的丈夫越来越觉得自己无能。后来，伦道夫的病情严重了，他们的两个孩子就搬到杰斐逊这边和他一起住，杰斐逊的女儿波丽也帮忙照顾她们。
在这里，虽然杰斐逊总是向亲朋好友说自己的精神愉快，备感轻松，但是他心里却越来越觉得很不舒坦，而且总是闷闷不乐。杰斐逊发现他远离社会人群时间越长，那种逆反社会、仇恨人类的心理就越来越严重。
1795年的夏季，蒙特沙罗一下子没有之前的欢快，整个房子都快成了医院了。因为过来看他的女儿、姐姐、奴隶都病倒了。更让他十分愁闷的是原先的7500元债务，到了1795年又增加了1000元。这债原来是岳父的，本来已经付给了“弗吉尼亚土地处”，不料1796年3月19日，最高法院的法官却判决，凡是付给“土地处”的债务必须再付一次。
有一次，政坛好友麦迪逊提醒杰斐逊，共和党一定还会提名他继承华盛顿的时候，他写了一封长而严肃的信，说麦迪逊自己应该做候选人才对。事实上杰斐逊虽然痛恨政治，但是仍旧热爱着政治。在他心灵深处所感觉到的不是解放，无拘无束或宁静安详，却是个上了锁链的巨人。
1796年，杰斐逊开始了很久之前就计划好的改建蒙特沙罗的房屋工程。新的房屋有着八角形的屋顶，是根据巴黎的那个大谷物市场的圆顶的原理而建造的。杰斐逊之所以改建，最大原因是想增加新的卧室，好让女儿、外孙们夏天来度假的时候有足够的地方住。不过，蒙特沙罗的改建，也象征着他政治兴趣的复苏，与重返政坛的准备。
1796年6月，著名的法国学者华尼伯爵来到蒙特沙罗来拜访杰斐逊，并和杰斐逊一起参观了他的农田还有房屋。1793年，杰斐逊曾经给了萨莉的哥哥詹姆斯·赫明斯一个书面的承诺，答应他只要教会了蒙特沙罗的奴隶做法国菜，就可以让他获得自由。结果哥哥在1796年2月5日得到自由，杰斐逊给了他30元当盘缠，詹姆斯·赫明斯也就高高兴兴地走了。
1797年的弗吉尼亚，由革命而点燃的那种解放的热情，在此时已经慢慢冷却，后来消失得找不到踪迹了，就算仍然有一些小的残留，也因为后来出现了黑人大肆屠杀白人的事件而摧毁殆尽了。1797年夏天，弗吉尼亚州和整个南方都感到很危险，害怕黑人会揭竿而起，造成动乱。杰斐逊的好友圣乔治·塔克这时送给杰斐逊反奴隶制度的小册子，并且警告说，如果不迅速解放黑奴，很可能会造成黑人与白人的冲突。杰斐逊同意他的看法，认为只要有一点小的骚动，就可能引发大乱。
杰斐逊对于与萨莉·赫明斯的关系此时还是很隐秘，在《农事录》上，她总是隐名的，虽然杰斐逊在奴隶的鱼、肉、毯子、麻布的分配表上，曾经多次提到她，却没有姓。他之所以刻意略去了他们母子的名姓，是出于自然的反应，不愿在书面的记载上承认他们对他是重要的。杰斐逊之所以没有释放萨莉，而萨莉也没有提出请求，是因为放了她就等于失去了她，而萨莉也失去了他，主人虽可与奴隶之间发生爱情而不受社会大众的指责，但与一个自由之身的黑人谈情说爱就全然不同了。因此萨莉如果要求释放，那就意味着，或者像哥哥詹姆斯一样离开杰斐逊，或者准备看着杰斐逊的名誉毁于一旦。这样的矛盾让他十分沮丧，尤其是当玛莎和萨莉两人先后死了孩子的时候。在蒙特沙罗的人，没有人不知萨莉掌管着杰斐逊的卧室和衣橱，而玛莎也从不在杰斐逊的卧室最里面的居室里生活，因为那里是杰斐逊隐秘的地方。
1797年12月4日杰斐逊重回费城的时候，萨莉又有了身孕，而且她的孩子也生着病。没过几天，两岁的女儿夭亡了，这使得杰斐逊悲痛不已。