杰斐逊的女儿波丽到1796年已经17岁了，长得十分美丽，虽然追求的人很多，最后她却嫁给杰斐逊不是很欣赏的表哥杰克·埃普斯。婚礼在1797年10月13日，在蒙特沙罗安静地举行，杰斐逊送给新人26个奴隶，若干头马、牛和猪，以及靠近蒙特沙罗附近的大约123英亩的土地。后来，杰斐逊和女儿波丽之间也有信件来往，不过却缺少他和玛莎之间的那种亲密。
1796年12月到1801年2月之间，杰斐逊重返政坛，担任副总统的职务，但是由于当时的政事不是很烦琐，所以杰斐逊在费城只生活了21个月，其余的27个月都是在蒙特沙罗的家中度过的。
人生最辉煌时刻
就在华盛顿宣布了不再继任总统的讲话之时，主动安排让杰斐逊代表共和党竞选总统的不是杰斐逊自己，而是他最好的朋友麦迪逊。
当时选举总统候选人并没有正式的程序，候选人是在党里的预备会议当中产生的。杰斐逊了解这种事情后，没有撤消自己的提名，而是不参加竞选活动。当时的宪法还没有经过第十二项修正案的修正，在那个宪法之下，不同党派的候选人，有分别膺选为总统、副总统的可能，由获得最高票的人胜出，担任总统职位，而第二高的人就担任副总统。联邦党派的约翰·亚当斯一点也不希望杰斐逊成为总统，也不希望杰斐逊成为副总统，因为杰斐逊与他意见总是相反的，两人如果搭配起来，往往会造成许多政务上的危机。虽然在竞选期间里杰斐逊并不总是提到政治的事情，但是他仍然以608票对亚当斯的711票，当选为副总统。
1797年3月4日举行就职典礼的时候，华盛顿身着黑色衣服，亚当斯穿着浅褐色的衣服，同时佩了剑和帽章，杰斐逊的头发绑成了辫子，着蓝色单襟到膝的长外套。典礼后三人离开大厅的时候，对于谁应该走在最前面这个问题相互礼让了一番，最后，华盛顿坚持亚当斯应当先行，然后是杰斐逊，最后是他。于是，美国终于通过了它的第一次考验。对于权力的转移问题，既不需要流血也不需要暴力，而是在谦恭礼让之中完成。
杰斐逊终于还是回到了政治圈，而好友麦迪逊恰好相反，他在杰斐逊任副总统后就退隐到了弗吉尼亚的农场里，直到后来杰斐逊出任总统的时候，他才再出任国务卿的职位。
杰斐逊担任副总统一职的最初，曾经想过要与亚当斯恢复往日的情谊，但是此时的总统亚当斯在与他交谈的时候却说打算让他去法国。这无疑给杰斐逊浇了一盆冷水，因为当时美国与法国之间的外交关系已经严重破裂。后来，杰斐逊发现副总统根本没有什么实权，这种无事可做的闲散日子很使他感到受到屈辱。后来，杰斐逊着手编纂了一本参议院规则的手册，修整松弛的议事程序，里面的解说十分详细，直到现在仍旧沿用。后来杰斐逊还担任美国哲学学会的会长，畅谈他多年前还曾经挖掘印第安坟岗的经历，赢得了不少民声。使杰斐逊与亚当斯越来越形同陌路的，除了在国内的事情之外，还有国外的事务。英法两国处于交战的状态，由于拿破仑掌权，美法外交形势更为严峻。国内许多人都认为法国马上就要入侵美国，因此议论纷纷。1798年的国会几乎成为了战时国会。杰斐逊眼看着多数的联邦主义人士，通过了20条战争法，中止对法贸易，授权缉拿法国海军船只，宣布废止1778年签订的联盟条约，下令建造海军战舰，并即刻征募10000人入伍，另外还计划训练地方军50000人。
杰斐逊因为此时身为副总统，不便攻击亚当斯的做法。面对举国上下对战争的疯狂举动和身为共和党员所受到的人身攻击，杰斐逊采取了一种特殊的防御技巧，那就是埋头大量地写信，信中流露的是良知，是理性。他主张与所有国家通商，却不与任何国家结盟。由于杰斐逊管理着参议院，他不得不签署许多他不赞成的战争议案与压抑民权的法案，例如叛乱法，规定凡是著作、出版或言论不实而恶意中伤政府、国会与总统的人，必须严重罚款或者拘捕入狱。
叛乱法通过之后，杰斐逊又返回了蒙特沙罗，这一住就又是四个半月，从1798年6月24日至8月22日，这段时间里他几乎没写什么政治信件，但杰斐逊却下定决心要正式接掌他的共和党，并为竞选总统而奋斗。同时他还完成了两部论述，第一部是探讨研究安格鲁撒克逊民族的长篇大论。第二部是一部文献——《肯塔基决议案》，这部文献在1799年于弗吉尼亚州正式立法。
1798年8月前后，欧洲发生了好几件事情，间接帮助提高了杰斐逊的声望，其中最重要的一件是纳尔逊的法国舰队在尼罗河口的阿布琪湾战败，这使拿破仑的军队在北非有三年的时间没有动弹。最后联邦党的人士终于知道，法国将要进攻美国只是他们的想象而已，总统亚当斯也去除了压迫感而恢复了理智，在1799年2月与法国握手言和，并派大使去往法国行进行磋商。这一年的12月14日，华盛顿意外地死于喉部感染。
1800年总统选战期间，从杰斐逊的信上所表现出的那种政治倾向，和他的勇悍自制与小心谨慎的态度，都可以看出他这时的果决、坚定和慎谋。他不再为亚当斯的挑战而感到困扰，他相信亚当斯现在已经成为对共和国的威胁了。杰斐逊再也不会像上次的竞选那样，这一次杰斐逊决定参加。共和党人还为杰斐逊写了传记，散发了5000份出去，这是美国政治史上的创举。
杰斐逊虽然毅然决然地参加了竞选，可是他的女儿玛莎一点都不高兴。由于杰斐逊是在蒙特沙罗坐镇指挥，各式各样的人都来到这里，车水马龙，人山人海，父亲虽然就在身边，但是总是可望而不可即，这真叫玛莎受不了。此时，联邦派人士不断地攻击他，说杰斐逊如果当选总统，就意味着内战的开始，而从欧洲驱逐出来的成千上万的法国人和爱尔兰人就会在美国作乱、劫夺、瓜分人们的财产，黑奴们在杰斐逊的领导之下，也会起来造反。甚至于还有牧师指控杰斐逊骗取孤儿寡妇的财产，而教士们还告诉教友们说，投杰斐逊的票就是投票反对基督教。
玛莎的丈夫伦道夫的精神病症在杰斐逊离开弗吉尼亚赴费城担任副总统的时候曾有起色。1797年3月，他还竞选代表阿尔贝马尔县出席弗吉尼亚议会。可是选举那天他却没有出席，失去了大好的机会。波丽似乎对父亲杰斐逊的竞选较为兴奋，她对于自己的婚姻也比玛莎觉得满意，她住在童年时曾经待过的地方，日子过得也很幸福。
1801年1月4日，与杰斐逊一同竞选副总统的艾伦·伯尔，得到消息说他与杰斐逊得票相等，竟然十分绝情地告诉杰斐逊的朋友说，如果国会要选他，就让他当总统，杰斐逊担任副总统有什么不可以呢？知道这些之后，杰斐逊才知道原来他遇上了更麻烦的对手，这个对手比汉密尔顿还诡诈，还狠心。更糟糕的是，联邦派的人士竟然酝酿着打算让首席大法官约翰·马歇尔出任临时总统。
不过更没有想到的是，在这次的纠纷里杰斐逊竟然获得了汉密尔顿的帮助。汉密尔顿十分了解伯尔阴谋狡诈的个性，可能是因为他们两个人的性情很相似，只是伯尔比汉密尔顿更为阴险罢了。汉密尔顿对婚姻之外的冒险还有所选择，而伯尔却是来者不拒，多多益善；汉密尔顿或许会对自己的亲戚与事业伙伴掉以轻心，致使他们乘机盗用公款，但自己在财务上却是清白无暇的，而伯尔这个人却自己贪赃枉法。
投票的日子总共持续了五天。有一天开会到了深夜，代表们只能睡在会议室，他们有的裹着厚厚的大外套睡觉，有的蜷缩在椅子里，有的就干脆平躺在地上。杰斐逊有个朋友是马里兰州的代表约瑟夫·尼可森，他当时发着高烧，却还要让人抬着走过雪地前来投票。杰斐逊虽然心中十分激动，但是他在主持参议院事务紧张的六天危机当中，外表仍旧显得格外镇静自若。到了第六天，杰斐逊终于打破了与伯尔平手的局面，最终赢得了选举。
杰斐逊在参加就职典礼的那一天，穿着十分朴素，他和他的朋友们从他所住的地方步行前往国会山庄，来自华盛顿城的一连炮兵和枪手，在他所住的门前游行，当他步入国会山庄的北门之时，礼炮立刻被燃放了起来，场面格外激动人心。在华盛顿这座新城当中，几乎什么都没有完成，国会山庄也包括在内，当然这个城市有部分是杰斐逊设计的。
在参议院的议事大厅中，人们马上就注意到约翰·亚当斯并没有出席。杰斐逊信步走在大厅当中，在他的右边是艾伦·伯尔，左边的是约翰·马歇尔，可是谁也都看不出来这三人原来是相互竞争并且憎恨，而且互不信任对方的。
此时的杰斐逊显得十分和蔼可亲，他的神态似乎像贵族那么高贵，而又像平民一样亲切，而两者恰好在杰斐逊身上融合起来。他开口说话的时候声音十分低沉，在人山人海的议事厅里，只有前面几排才听得清楚，排在后面的人只能在第二天华盛顿的报纸上读到他的演说。
杰斐逊的就职演说是美国初期政治史中十分珍贵的文献之一，它具有《圣经》一样的冲击力。从总体来说，它是一篇和解调停的演说，他说大家都是共和人士，也都是联邦人士，那些强烈反对他的人们听完这个之后，不再有唾骂，变成了支持的态度。他用精确的解说给少数人的权力下了一个绝妙的定义，他说少数人的意见错误是可以容忍的，但需要让理智自由地与它战斗。杰斐逊说他相信共和政府会成为世界上最强大的政府。杰斐逊说，一个好的政府是一个明智有为的政府，它会防止人们彼此伤害，而让人们自由地去努力和进步。
这个解说也就说明了为什么身为革命政治家的杰斐逊是特殊之人的原因，因为他可以把人们所憧憬的东西通过一定方式完美地解释出来，就好像它就在眼前。而相反地，亚当斯认为大部分的人都是腐坏堕落的，但是杰斐逊却认为国人有着沉着稳定的特性，也是国家的基本。亚当斯认为人性本恶，所以共和政体一定会腐败，而杰斐逊却在一些希望当中见到政治的本源。这也许就是人们舍弃亚当斯而支持杰斐逊的原因。
1801年3月1日，杰斐逊写给朋友信上说他们经过了种种艰难险阻的阴霾，乘风破浪，终见阳光，而这也证明了他们的船是坚而不摧的。