“太上皇”是封建社会皇帝的父亲的称号，最早起源于秦朝。秦始皇的父亲庄襄王一生坎坷，曾经在赵国被扣为人质，深受拘禁之苦，后来得到吕不韦的帮助才登上王位，却又壮年先逝，秦始皇统一天下后，为了表示对先王的尊重，便追封其父为“太上皇”。这是太上皇称呼的最早应用，自此以后鲜有使用，故而也没有形成制度。
到了汉初，太上皇又被提出。第一个对其在世的父亲给予“太上皇”称号的皇帝就是汉高祖刘邦。
刘邦在谋士张良、萧何、大将军韩信等人的辅佐之下，经过多年的战争，最终打败了楚霸王项羽，登上了皇帝宝座。此后刘邦衣锦还乡，去拜见自己的父亲刘太公。他本打算父子亲亲热热叙叙别后事宜，谁知他刚到家门口，就见他父亲挟着扫帚站在门口，倒退着将刘邦迎入家门。刘邦见到此情此景，心里非常不快，问父亲为什么这样。
刘太公答道：“您是当朝天子，天下谁敢不敬？我虽是您父亲，也不过是个平民百姓。百姓不敬皇帝，这不是犯了欺君之罪吗？”
刘邦听后，立觉左右为难，不知道该不该让自己的父亲参拜自己。事后有人为了讨好他，就讲了秦始皇尊先父为“太上皇”的例子，建议刘封其父为“太上皇”。刘邦一听正中下怀，采纳了这个意见。于是立即筹备，举行大典，名正言顺地封他父亲为“太上皇”。这样一来，父子相见就不必行大礼了。
自此以后，“太上皇”这一称呼就成了一种制度，被历代封建王朝承袭下来。