从1946年起，卡特开始在海军服役，到了1948年，卡特转入潜艇部队，先去康涅狄格州的潜艇学校学习半年，之后到太平洋舰队常规潜艇“鲳鱼号”服役。此后一年多，他随舰在太平洋海域执勤，并多次到达中国港口。
20世纪50年代初，卡特参加了美国第一批核动力潜艇的研究工作。其间，研究项目负责人是后来被誉为“美国核潜艇之父”的海曼·里科弗上校，他对卡特影响极大。里科弗是位对下属要求极严格的人，里科弗询问卡特在军校的成绩，卡特沾沾自喜地把自己的成绩告诉了里科弗。
里科弗问卡特：“你是否全力以赴，争夺第一了吗？”
卡特羞愧地表示没有。这件事对卡特的启发很大，他决定以后做任何事情都应该竭尽全力，后来卡特的竞选自传名字就是《为什么不竭尽全力》。
虽然海军上校里科弗激发了卡特做事情全力以赴的斗志，但卡特并没有把这种精神用在海军上，因为此后不久，卡特就打算退伍了。
促进卡特退伍的原因有两个，一个是他父亲的突然去世，卡特打算回去接管自家的农场，这是一个比较直接的原因。
这个直接的原因就是，此时卡特仅仅是一名上尉，在这里他的前途非常有限。回到农场就不一样了，他可以在家乡广泛地与各界接触，到那时他就可以竞选议员、州长，甚至竞选总统了。
卡特希望退伍的决定遭到了妻子罗莎琳的反对。罗莎琳从小在处处都受到庇护的环境下长大，直到1946年和卡特结婚后，她才跟随卡特远离了束缚，尽情地享受着一个海军夫人的兴奋与独立。
所以当听到卡特要辞去海军职务回老家经营农场的时候，罗莎琳强烈反对卡特的决定。经过几场争吵之后，罗莎琳终于被说服了。
就这样，1953年卡特辞去海军职务，回到了佐治亚州接管了自己家的农场和花生生意。卡特的经营才能再次显现了出来，到了1979年的时候，卡特已经成为了一名百万富翁。
财富并不是卡特的唯一追求，因为离开海军时他就已经决定进入政坛了。接管农场之后，他一边经营农场，一边尽量扩大自己的社交范围。
1953年卡特参加了州参议员选举，在民主党党内选举时，卡特被一个叫穆尔的人以微弱的优势击败了。但随后卡特列举出了穆尔舞弊的有力证据，从而顺利扭转了败局。在接下来的竞选中，卡特再次击败共和党对手，成功成为州参议员。
1966年卡特参加了州长选举，但在党内竞选中，他只获得了第三名，无缘党内提名。但卡特并没有气馁，1970年他再一次参加了州长选举。
在这次选举中，卡特有两个特点，一个是他宣传民族平等，为此他还邀请了反对种族隔离的风云人物华莱士来为自己助选；一个是和对手的衣着考究不同，卡特穿着朴素，言行低调，并把自己宣传成为了一个“乡巴佬”。
最后，卡特这个低调的“乡巴佬”，被选民认为是能够打破种族隔离枷锁的“新南方”领导人。卡特也因此顺利地当选为了佐治亚州州长。
在就职演说时，卡特就宣传自己“从不说谎”，并宣誓自己当选后“种族歧视的时代一去不复返了”。为了兑现这个承诺，卡特州长以等额方式分配贫困地区和发达地区的教育经费，任命几十名黑人在白人控制的政府内任职，把民权运动领袖马丁·路德·金的黑人画像陈列在政府美术馆中。
此外，卡特州长还着手精简机构，大刀阔斧地把原来州政府的65个机构缩减为22个，以节约开支和提高办事效率。
同时，卡特又对财政制度加以整顿，规定凡是需要经费的单位，一律重新申请并由政府重新审核，如开支不当，政府可以拒绝批准。
卡特州长的这一系列做法，为卡特树立了“最有成就的州长”的形象，也为他进一步参加总统角逐积累了政治资本。