太子夭折，皇儲乏人，大臣們議論紛紛。有不識時務者開始上疏，要皇帝盡快在宗室後裔中挑選儲君，倘若皇帝日後生出兒子，到時再重新冊立太子。按說這是關心國脈大事，照此實行可安人心。然而宋高宗以為這是心懷二誌，並借此事羞辱自己，再說眼前戰事緊張，哪有時間選立太子？為了平息大臣議論，便將上疏者撤職查辦。大家果然緘口藏舌，不再議論立儲之事。
宋高宗和後妃們生不出兒子，戰局也慢慢穩定下來，立儲之事遂又重提。這時，輾轉在江西的憲聖皇後也平安返回臨安，她說曾經做了一個怪夢，不解何意，秘密向高宗說了，高宗悟出是選嗣之事。恰在這時，大臣範宗尹也提出了這事，高宗答道：“太祖皇帝以神勇之武定了天下，可是他的子孫沒有享受承繼之福，現在遭遇世亂艱難，他的後代更是飄零可憐，我若不效法仁宗皇帝，為天下著想，怎能告慰太祖在天之靈？”
眾所周知，宋太祖臨終前，遵從太後之意，把皇位傳給了弟弟，他自己的後代沒有繼承大統。至仁宗時，沒有兒子，便挑選四歲的侄子趙宗實為太子，這就是後來的宋英宗。現在的高宗趙構也沒有兒子，便想效法宋仁宗的做法，在太祖的後人中選立太子。一方麵顯示自己有堯舜之風，一方麵也可安定人心。其實，還有一個重要原因，宋太宗一支的嫡係子孫全都被擄北上，皇太子不得不在太祖後裔中選立。果然，副宰相張守、負責軍事防務的長官李回、禁衛官婁寅亮等人紛紛上疏支持或稱讚皇帝的這一英明做法。宋高宗遂借坡下驢地說：“此事不難行，朕於‘伯’字行中選擇，庶幾昭穆順序。”決定在太祖後人中選立皇子。
按照趙宗室玉牒，趙構係宋太祖六世孫，“伯”字輩為七世孫，排列起來是子侄關係，立為皇太子名正言順。經過多人尋訪，查明太祖皇帝七世孫共一千六百四十五人。在這些人中，又挑選出七歲以下幼童十人，經反複審看，相中了一胖一瘦的兩個男孩。宋高宗把他們兩個叫到一起，再仔細端詳一遍。他看胖的那個孩子結實，個頭兒也高，決定“留胖去瘦”。然後賜給瘦孩子三百兩白銀，想打發他回家。就在這時，一隻白貓從兩個孩子中間穿過，胖孩子飛起一腳，踢翻了這隻白貓。高宗看了大為不滿，他想，此子如此輕狂，如何擔當社稷重任？當即改變決定，留瘦去胖。紹興二年（1132）五月，高宗皇帝育太祖朝奉大夫趙子偁之子伯琮於宮中，賜名瑗。追溯起來，伯琮是太祖次子秦王趙德芳的後代。
伯琮入宮這年隻有五歲，生活不能自理，遂交給張婕妤負責養育。高宗雖然用心選了一個侄子，但他並未將其視為皇子。說來宋高宗有自己的理由：①這一年他隻有二十五歲，倘若醫治有效，說不定以後還會生出兒子。②趙瑗年紀幼小，發展難以預料，萬一不如人意，隨時可以廢掉。③“伯”字輩侄子眾多，說不定有更優秀者出現，到時擇優汰劣，於江山社稷更為有利。
宋高宗的這些想法確有道理。可是，朝野醫方用盡，他還是生不出兒子。紹興四年，吳才人覺得寂寞無聊，也想撫育一個孩子。高宗把秉義郎趙子彥的男孩找來，時年七歲，名為伯玖，長相可愛；聰慧穎異，吳才人一看就很喜歡，留在身邊精心養育。宋高宗將其改名為趙璩，這樣，事實上有了兩個儲君侯選人。他們自身尚不明白悄然開始的競爭，但大臣們在密切注意著立儲大事。比如，大將張浚專門上表，請求高宗盡快確定皇太子。然而高宗心中有數，對於這種請求，一概置之不理。
紹興五年五月，大臣趙鼎建議應在宮中建立書院，對這兩名男孩加強培養。宋高宗為此修建了“資善堂”，聘請徽猷閣待製範衝和起居郎朱震為宮廷教師。兩個孩子的學習都很認真，接受了係統正規的良好教育。紹興十年（1140），嶽飛奉詔班師後，提出“正國本以安人心”的建議，趙鼎也提出議立皇子一事，均遭宋高宗訓斥。兩年後，十五歲的趙瑗加檢校少保，封普安郡王，按照慣例，他出宮住進王府。而這時的趙璩，獨居禁中，封吳國公。三年後，趙璩晉封為思平郡王，同樣搬進自己的府第，時人稱為東、西二府。
宋高宗對於選立皇子之事不是沒有考慮，然而他還必須考慮這樣兩個重要因素：一是撫育趙璩的吳才人已被冊立為皇後，秦檜因與趙瑗關係不好，遂借機一打一拉，製造吳皇後欲立趙璩為太子的謠言。許多大臣看秦檜臉色行事，弄得“中外議頗籍籍”。高宗左顧右盼，難下立儲決心。二是高宗母親韋太後從金國回來後，因與趙璩接觸較多，對其很有好感，日常言行不免偏向趙璩。高宗是個孝子，不能不考慮母親的這種態度。此事就這樣不痛不癢地拖了下來。