從徽宗開始，宋朝的皇帝自己沒死，就會找個借口退下位來，把皇帝讓給自己的兒子做。到了南宋，這更像是成了一個傳統。
高宗年輕的時候好色，不想一次金軍突然來襲，他還在行宮中和美人玩樂，聽到金兵就要趕到的消息時，嚇得驚出了一身冷汗，從此就失去了生育能力。自己沒有兒子，可皇位不能沒人繼承，於是太宗決定從皇族中挑選幼子作為養子。他在朝上對大臣說：“當初大祖以神武定天下，可是他的子孫卻得不到享福，現在又遭此國難，四處飄零，甚是可憐。朕如果不來振興這一係，難以告慰太祖在天之靈。”從太祖的後裔中選了十名幼子入宮，幾經篩選之後，還剩下兩個，一個胖的，一個瘦的，最終決定留下那個小胖孩子。高宗說：“把他們兩個叫來，我再看一看。”兩個孩子並肩站到皇帝麵前，這時忽然有一隻貓從旁邊經過，那個胖孩子抬腳踢了它一下。高宗一看，皺起了眉頭，說：“一隻貓偶然經過，就要踢它，如此輕浮，怎麼當得大任。”於是，又改留那個瘦孩子，將他改名為趙昚。
紹興三年，金軍又開始謀劃進攻宋朝。高宗年輕時曾在金人營中做過俘虜，後來又顛沛流離，吃了許多苦頭，才終於在南方安穩下來，享了二十年的福。他看現在金軍又要來打，不想自己的晚年不得清靜，就盟升了退意。趙昚現在英武聰慧，他知道滿朝文武都是高宗的人，自己又不過是個養子，所以當高宗提出要禪位時，他推辭再三，直到清楚高宗確實是厭倦了政事，才做出不得已的樣子坐上皇位，史稱孝宗。舉行禪位儀式的那天，天下起了大雨，儀式完了，高宗便遷往德壽宮。孝宗扶著高宗的轎子，冒雨送出宮門，仍不停步，直到高宗命左右把他拉住，才回到宮中。高宗見他殷勤，非常滿意，說：“我托付的這個人很孝順，現在沒什麼可遺憾的了。”
孝宗的確是孝順。高宗雖然退位，但他的太上皇又做了二十多年，還時不時地過問軍國政事，孝宗一是畏懼，另外也對高宗心存感激，畢竟自己出身平民，現在卻做上了皇帝，所以對高宗百依百順。他還每月至少四次去德壽宮拜見高宗，知道高宗喜歡字畫古玩，總是不惜高價買來送給他。雖然孝宗事事小心，但還是免不了因為政事惹怒高宗，每當這個時候，他隻能委屈自己，順著高宗的意思來辦。孝宗一共在位二十七年，其中倒有二十四年是在太上皇的威嚴之下戰戰兢兢度過的。
孝宗年輕的時候本也想著幹一番事業，但畢竟高宗還活著，朝中各種政治勢力紛繁錯雜，一直到晚年他也未能施展抱負，隻好將恢複中原的希望寄托在下一代人的身上。淳熙十四年（1187年），八十一歲的太上皇高宗一病不起，孝宗當即表示要服孝三年，這時他也已經是六十多歲的人了，眼看自己振興國家已經沒有了希望，就越來越厭倦政事，開始安排禪位。淳熙十六年（1189年），皇太子趙惇登基，史稱光宗。孝宗自己做了太上皇，移居到原來高宗居住的德壽宮。