宋太祖在斧聲燭影中不明不白地死去，當時天下就傳言“太祖之後，當再有天下”。100餘年後的南宋高宗果然絕後，且其近親後裔大都已被金兵擄去，隻得“廣選藝祖之後宗子”。最讓人百思不得其解的是：高宗居然在身體還相當強健的56歲盛年，主動讓位給太祖之後的孝宗，這在中國數千年的曆史上絕對是罕見的。
靖康之難，金軍押解了二帝及宋宮“妻孥三千餘人，宗室男婦四千餘人，貴戚男婦五千餘人，諸色目三千餘人，教坊三千餘人”等北還，其中就包括趙構康王府的三位有名位的妻妾和五個女兒，其正妻邢氏已有身孕，結果在北遷的路上“以墜馬損胎”。惟有妾潘氏也已妊娠，因無名位，住在開封自己家中，獨得躲過這一劫，後回到趙構身邊。趙構即位一個多月之時，即建炎元年（1127）六月，其子趙降生，潘氏也晉立為賢妃。
建炎三年（1129），武將苗傅和劉正彥在杭州發動兵變，逼迫高宗遜位，立他的3歲幼子為帝。後韓世忠統兵曆時一個月平定了叛亂，處苗、劉以磔刑。然而此事變最嚴重的後果是：趙構在此次事變中受驚嚇而從此陽痿，才23歲就喪失了生育能力。不久，3歲太子也受驚嚇而離開人世。在潘賢妃妊娠期間，正值金軍破開封府前後，她成天提心吊膽，生活艱難，故所生之子先天不足，體弱多病。據說七月間一天，趙患病時，恰有一宮女，不懼踢翻了一隻鼎，“仆地有聲，太子即驚搐不止”。高宗大怒，“命斬宮人於廡下”，然而僅過片刻，趙就停止了呼吸。兩件事發生於同年，如此巧合，莫非天意。
而這時，年近60的隆皇太後孟氏，突然“嚐感異夢”，夢見太祖趙匡胤說：“隻有把皇位傳給我的子孫，國勢才能有一線轉機。”太後自24歲時被宋哲宗廢黜，長期過著痛苦的幽居生活，不過也由此而沒有被金兵北擄，也算不幸中的大幸，此時看到宋廷所遭劫難也時有所思，於是“密為高宗言之，高宗大悟”。
在這樣的形勢之下，高宗也知道自己恐無希望有子嗣了，不如順水推舟，便說：“太祖以神武定天下，子孫不得享之，遭時多艱，零落可憫。朕若不法仁宗，為天下計，何以慰在天之靈。”（《宋史·孝宗紀》）於是同意“廣選藝祖之後宗子”比自己低一輩者。
選太祖後裔比趙構低一輩者，就是在其“伯”字輩的宗室子弟中訪求。據說太祖後裔香火還特別旺盛，其“伯”字輩約有1600餘人，當然朝廷隻從7歲以下兒童中遴選。最後選出兒童10人，再讓高宗逐一審看。據說，一次審看兩人，某次一瘦一胖兩個孩子出場，讓高宗仔細端詳，突然有一隻貓走過來，胖的為童心驅使，踢了貓一腳，高宗以為，胖孩“如此輕狂，怎能擔當社稷重任”。於是把胖孩淘汰，而那位瘦的，就是後來的宋孝宗趙伯琮。最後，高宗選了兩個孩子：趙伯琮和趙伯玖，時為紹興二年（1132）。
兩個孩子來到妃嬪麵前，張婕妤用手一招，趙伯琮便向她的懷裏撲去，高宗便命張婕妤養育伯琮，命吳才人養育伯玖。伯琮後賜名趙瑗，伯玖後賜名趙璩。趙瑗天資聰穎，博聞強記，異於常人，頗受趙構鍾愛，還親自教之讀書。紹興五年（1135），封趙瑗為保慶軍節度使、建國公，入資善堂上學，並詔：“建國公祿比皇子”。然而，高宗卻不正式立趙瑗為皇太子，原因是對自己能否恢複生育能力，仍抱有一定的希冀，就是說心裏還是不太情願由這個太祖的後裔入繼大統。紹興八年（1138），又封趙璩為節度使、吳國公，使兩個孩子處於平列的地位。由此，高宗表明自己尚無立儲之意，諸大臣提出不同意見，尤其左相趙鼎竭力反對，據理力爭，高宗隻得收回成命。然而到第二年，依然封趙璩為保大軍節度使、崇國公，“赴資善堂聽讀，祿賜如建國公例”。
此時，右相秦檜進讒言道：“趙鼎欲立皇子，是謂陛下終無子也。宜待親子，乃立。”此話說到高宗心裏。後秦檜獨相18年，是趙瑗成長中最為艱難的歲月，時或與奸相產生嫌隙。直到秦檜病死，總算掃除了立皇儲的一大障礙，高宗對自己的生育能力也已不抱希望。這時，趙瑗為普安郡王，趙璩為恩平郡王，兩人都已長大成人，且才能不相上下，高宗一時躊躇不決，不知立誰為皇儲。
最後靈機一動，決定用女色進行試探。他給兩人各賜靚麗宮女10名，過一段時間後再將20名宮女招回，進行身體檢查。趙瑗聽從老師史浩謹慎對待的勸告，不近女色，所以其宮女依然是處女，後“完璧歸趙”。而趙璩則采盡了秀色，10名宮女都已不是處女了。高宗並未將此事公布，但心中已有定數。此事載於周密《齊東野語·高宗立儲》之中，令人不解的是：高宗本人就是一個荒淫好色之徒，他怎麼會在這方麵嚴格要求子嗣呢？其所用方法，以當時的科技條件能進行比較準確的鑒別嗎？周密的記載會不會想立奇而作假呢？或隻是采之於無法考據的道聽途說？