“太上皇”是封建社會皇帝的父親的稱號，最早起源於秦朝。秦始皇的父親莊襄王一生坎坷，曾經在趙國被扣為人質，深受拘禁之苦，後來得到呂不韋的幫助才登上王位，卻又壯年先逝，秦始皇統一天下後，為了表示對先王的尊重，便追封其父為“太上皇”。這是太上皇稱呼的最早應用，自此以後鮮有使用，故而也沒有形成製度。
到了漢初，太上皇又被提出。第一個對其在世的父親給予“太上皇”稱號的皇帝就是漢高祖劉邦。
劉邦在謀士張良、蕭何、大將軍韓信等人的輔佐之下，經過多年的戰爭，最終打敗了楚霸王項羽，登上了皇帝寶座。此後劉邦衣錦還鄉，去拜見自己的父親劉太公。他本打算父子親親熱熱敘敘別後事宜，誰知他剛到家門口，就見他父親挾著掃帚站在門口，倒退著將劉邦迎入家門。劉邦見到此情此景，心裏非常不快，問父親為什麼這樣。
劉太公答道：“您是當朝天子，天下誰敢不敬？我雖是您父親，也不過是個平民百姓。百姓不敬皇帝，這不是犯了欺君之罪嗎？”
劉邦聽後，立覺左右為難，不知道該不該讓自己的父親參拜自己。事後有人為了討好他，就講了秦始皇尊先父為“太上皇”的例子，建議劉封其父為“太上皇”。劉邦一聽正中下懷，采納了這個意見。於是立即籌備，舉行大典，名正言順地封他父親為“太上皇”。這樣一來，父子相見就不必行大禮了。
自此以後，“太上皇”這一稱呼就成了一種製度，被曆代封建王朝承襲下來。