後人對趙構曾經有所評價，說他一生所行敗事很多，可是在選立太子這件事上卻很是公允。
無人繼承皇位
宋高宗趙構雖然後宮妃嬪如雲，但是兒子卻隻有元懿太子一人，這元懿太子又偏偏短命，年僅三歲就夭折了，這件事使得趙構十分悲痛。最不幸的是宋高宗趙構，太子已經死了，他卻又在南逃途中受到驚嚇，患上了不育的疑難病症，不可能再有皇子。另外靖康一難中，宗室三千餘人又全部掠走，這麼看來，一時之間，竟然不能選出皇儲來繼嗣，這可如何是好？南宋剛剛建立，儲君是一國安定的根本，如果不立儲君，朝野就不能安心，國家的穩定也會隨之受到很大的威脅。
宋高宗趙構為了保住趙家江山，隻得在太祖的後裔“伯”字行中“訪宗求室”。其實從北宋初建到南宋初年，“伯”字行的太祖後裔已達1645人，挑選的餘地很寬，可是要從這一千餘人中挑選出一人，那可就難了。宋高宗先挑出七歲以下的兒童十人，然後逐一審看，最後隻剩一胖一皰兩個小孩。胖的是伯玖，瘦的是伯琮。
用處女選太子
高宗趙構在從伯玖和伯琮中挑選合適接班人時很費了一番周折。粗看時決定“留胖去瘦”，留下伯玖，並賜伯琮三百兩白銀遣回原地。伯琮正要捧銀出門，趙構又說沒看仔細，讓他二人叉手並立，自己站在一旁反複端詳比較。正在高宗猶豫不定的時候，忽然間二人腳邊竄過一隻貓，伯琮立著未動，仍然目不斜視，可是伯玖卻飛起一腳向貓踢去，高宗趙構這時很不高興地說：“如此輕狂，怎能擔當社稷重任！”於是決定“留瘦去肥”。這樣，伯琮便以候選人的身份被養育在宮中了。
伯琮入宮時年方六歲，走路搖晃還需要人護持，高宗趙構便讓張婕妤養育。伯玖也被孤獨無依的吳才人撫養。伯琮天資聰穎，博聞強記，與常人不同，受到高宗的鍾愛。而伯玖也並非草莽之輩，才能也很出眾，長大之後伯琮被加爵普安郡王，伯玖也被封為恩平郡王。二人才能不相上下，在這種情況下，趙構又猶豫起來了，不知道該下詔立誰為嗣才能不愧對列祖列宗。為了檢驗二人的品質優劣，趙構想出了一個辦法，決定采用“處女”選太子。於是給伯琮、伯玖各賜宮女十人，幾天之後，趙構將宮女召回，一一檢驗。結果，賜給伯琮的十人都未破身，賜給伯玖的十人都已被其奸過，不是處女了。宋高宗雖然並未將此事告訴別人，但內心已經分辨出誰更優一籌，當下決定立伯琮為皇儲。伯琮本就不是好色之徒，宮鬧生活也很值得稱道，再加上他的老師史浩提前告訴他要謹慎從事，才能經受住高宗的重重考驗，所以伯琮事事謹慎，從而輕而易舉地擊敗了伯玖。
趙構禪位
紹興三十年，宋高宗趙構宣布立伯琮為皇子，更名為瑋，封為建王，並詔告天下。之後，確定伯玖為皇侄，這樣就確立了皇位繼承人，免除了後顧之憂。紹興三十二年，趙構又正式冊立伯琮為太子，並下旨在紫宸殿行內禪之禮。
可是趙瑋死活不肯接受，他默默地退到了大殿一側的旁門，想返回東宮。後來宋高宗不得不再次降諭旨，太子這才勉強答應。可是趙構為什麼要在此時禪位呢？難道又是在檢驗太子的品質嗎？其實這時高宗真的已經心生退意了。原來，他自即位起，終日顛沛流離，半生戎馬生涯已經使得他神疲身倦，早就想當太上皇享清福了。
而在紹興年間，金人屢次入侵，他帶兵征討多次失利，後來兩準又迅速失守，朝臣們已經被金兵嚇破了膽，爭相提出退避之計，卻沒有一人響應抗金。趙構說不敢抗金，可是又萬萬不能繼續推行會招致天怒人怨的投降政策，在進退兩難的時候，隻好把這副擔子扔給太子趙瑋。
太子趙瑋他卻不同於宋高宗，他年輕氣盛，討厭秦檜專權賣國，並且數年隨趙構在軍中供職，早已熟悉了朝中文武及軍中將士，也許會扭轉僵局，所以高宗堅持著要退位。太子趙瑋隻好接受了這一重任，可是他還是心有餘悸，在行內禪禮時，文武百官齊聚殿門下，宣讀禪位詔書後，按官階高低魚貫進入紫宸殿迎接太子登基。
過了一會兒，太子趙瑋身著朝服，由內侍扶掖來到禦座前，但卻拱手側立不坐，七八次扶掖之後才稍稍就坐，宰相率領百官祝賀，太子趙瑋又忽然從座上跳起來，特別難過地說：“我父高宗的命令太過獨斷了，天子的位子很重，我年紀尚不足以擔當此重任啊，還是容我退避吧！”
群臣苦勸一番，太子趙瑋又再三推辭幾番，看實在拗不過眾人，這才隻好聽從所請，繼承了皇位，這就是曆史上以孝著稱的宋孝宗。即位儀式才剛剛結束，宋孝宗便身著龍袍，佩玉帶，親自送太上皇還宮，直到出了宮門還不肯止步，太上皇趙構再三辭謝，他才停下。趙構特別高興，直說自己所托得當。
後人對趙構曾經有所評價，說他一生所行敗事很多，可是在選立太子這件事上卻很是公允。