1808年12月29日，安德鲁·约翰逊出生于北卡罗来纳州的首府罗利。约翰逊家的经济状况非常不好，他的父亲当过小旅店的堂倌，而他的母亲则是一个文盲，没有什么像样的工作。
本来经济状况就不好，在约翰逊3岁那年，父亲在一个寒冷的天气里，因下河救人受了风寒而去世。失去了父亲这个家庭靠山，约翰逊一家经济状况更加糟糕，全家只能靠母亲纺纱织布维持生活。
14岁那年，母亲把约翰逊和哥哥送给了一个叫塞尔比的裁缝当学徒。两人的这种学徒地位比较低，它还有一个准确的名字叫“契约佣工”。按照当时的法律规定，塞尔比给约翰逊二人提供食宿，教二人裁缝手艺，但两人必须给赛尔比打工。
这种契约佣工的生活非常辛苦，而且学东西也比较慢，在坐了两年的冷板凳后，约翰逊和哥哥一起逃离了裁缝店。
按照规定，契约佣工在没有解除契约之前是不能离开的。所以裁缝塞尔比在当地的《罗利公报》上正式登出启示，谁如能将约翰逊哥俩送回，或者将约翰逊一人送回，塞尔比将为此支付10美元赏金。
赛比尔的悬赏公示并没有取得应有的效果，因为这个时候约翰逊哥俩已经逃到距离罗利七十多英里外的迦太基。
二人冒着被抓回去的危险，逃离了罗利，按说应该换一个稍微好一点的工作了吧。但只有十多岁，又不会其他手艺的约翰逊二人也找不到更好的工作，最后只有再进入裁缝店做学徒。
在外面干了一年多的裁缝学徒之后，约翰逊哥俩再次回到了家乡罗利。但他们在罗利并没有生活很久，一家人就搬家了。
约翰逊一家搬出罗利多少有些无奈。美国人做事有一股拧劲，约翰逊离开塞尔比裁缝店已经一年多了，但看到二人又回到罗利，塞尔比依然坚持二人要按当初的契约做完六年学徒工。
约翰逊兄弟当然不愿意再回到那个裁缝店。但这就出现了一个问题，二人所立的学徒契约在法律上依然有效，所以别的裁缝店也不能雇用他们，因此二人实际上在罗利无法找到工作。
本来家里经济条件就不是很好，两个人又处于“半大小子吃穷老子”的年龄，家里难以为继。所以回到罗利不久，二人就和母亲、继父一起，带上所有家里所有值钱的东西开始向西部迁移，最后他们在田纳西州的格林维尔定居了下来。
当时镇上的一位裁缝退休了，18岁的约翰逊自己开了一家裁缝店，他在自己裁缝店的招牌上写道：“A。约翰逊裁缝店”。从此以后，约翰逊开始走上了独立的生活。
从上面的叙述可以看出，约翰逊的学龄时期，他先是做裁缝学徒，后来又自己开了裁缝店，所以他一直没有时间，当然也是因为没有钱，去学校接受正规教育。
如果约翰逊是个不识字的裁缝，他当然也就没有机会成为美国总统了。但幸好当时约翰逊有两个好友，一个叫利奇科德的工头，一个叫希尔的医生。他们俩定期到裁缝店帮助约翰逊学习，除了教书外，还给他读报刊上的文章。就是通过这种方式的学习，约翰逊学会了简单的拼写。
一天，希尔医生给约翰逊读了一篇关于演说术和修辞法的短文，约翰逊受到很大的启发。后来希尔送给他一本《美国演说家》，约翰逊爱不释手，反复诵读。在此后的数年中，约翰逊依照书中介绍的方法不断实习，终于练出了很好的口才，这为他走入政坛，打下了基础。