1831年11月19日，加菲尔德出生在俄亥俄州的奥林奇附近的一座小木屋中。加菲尔德的父亲曾经是个运河船工，就在加菲尔德出生的18个月后，父亲在扑救一次大火后，患肺炎去世，遗下他母亲和四个小孩，加菲尔德年龄最幼。
失去父亲之后，父亲留下的田地不多，勤劳刚强的母亲带着四个子女在田间劳动，一家人的艰辛贫困可想而知。
对于加菲尔德来说，还有一样令他更感到难堪的东西，那就是来自那些家庭完整的同伴们的嘲笑。这些嘲笑没有让加菲尔德自卑起来，反而激发了他强势的性格，他平时总是咄咄逼人，还寻衅滋事，并练就了一身好拳脚。
除了强势之外，年少的加菲尔德还有个特点，那就是毛手毛脚。据说他干活的时候，曾经几次不小心用斧子弄伤了自己；还有一次，他居然从干活的高处摔了下来。
令人奇怪的是，加菲尔德这样一个强势、马虎的少年，居然特别喜欢看书。和他的性格有些关系，加菲尔德喜欢看的书多是一些美国历史和海上探险类的书。
不知道是受曾经做过船工的父亲影响，还是探险类书看得太多了，反正从很小的时候，加菲尔德就渴望成为一名水手。
到了16岁那年，加菲尔德实在等不下去了，他不顾母亲的反对，徒步走到克利夫兰码头，希望能够被某条船雇佣。结果可想而知，没有任何一个船主愿意雇用一个16岁大的孩子。
加菲尔德并没有就此放弃，他终于找到了一条叫“晚星”的船愿意雇用他，这不是因为“晚星”船主看上了加菲尔德，而是因为船主是加菲尔德的表兄。
“晚星”并不出海，只是往返于当地的一条运河上。加菲尔德在“晚星”上工作了大约有6个星期就回家了。这不是因为他对做水手失去了兴趣，而是因为在“晚星”的这段时间，加菲尔德居然有14次掉进水里。这对于当时还不会游泳的加菲尔德来说，无疑是非常危险的事情。
而加菲尔德回家的原因也不是因为危险，而是因为生病，掉进运河里虽然不至于淹死加菲尔德，却让加菲尔德染上了风寒，所以他必须回家养病。
病好之后，加菲尔德希望再次回去做船工，但母亲无论如何不允许他这样做。为此，母亲还找来一位老师，一同劝说加菲尔德：“你现在年龄还小，必须要完成学业。”
就这样，加菲尔德的水手梦破灭了，接下来他要做的是好好上学。在完成了一些基础教育之后，1851年加菲尔德进入海勒姆的伊克莱克提刻学院，后来又进入一些地区学校就读。
上学期间，加菲尔德属于半工半读，他先是兼职做木工，年龄大了一些以后，他又兼职做门卫，后来又兼职做老师。靠着这些兼职，加菲尔德成功地解决了学杂费问题。
虽然做了这些兼职，但加菲尔德依然是一个非常优秀的学生，他不仅学习成绩很好，而是还是个辩论高手。
1854年，加菲尔德进入了位于马萨诸塞州的威廉姆斯学院，这所学校在美国建国初期成立，在美国文理学院中排名第一。更为重要的是，加菲尔德上学时，威廉姆斯学院还有一个非常著名的校长，他叫马克·霍普金斯。毕业之后，加菲尔德还曾多次提到这个著名教育家对自己的影响。
在威廉姆斯学院时，加菲尔德是当时学校年龄最大的学生，但加菲尔德从同学那里收获的不是嘲笑，而是尊敬与爱戴，因为加菲尔德不仅学习成绩非常好，而且他还是学校里的辩论冠军。
1856年从威廉姆斯学院毕业后，加菲尔德回到俄亥俄州的母校伊克莱克提刻学院任教，主讲希腊文和拉丁文、高等数学、历史学及哲学。大约两年之后，他被任命为伊克莱克提刻学院院长，当时他仅26岁。