宋高宗對於選立皇子之事不是沒有考慮，然而他還必須考慮這樣兩個重要因素：一是撫育趙璩的吳才人已被冊立為皇後，秦檜因與趙瑗關係不好，遂借機一打一拉，製造吳皇後欲立趙璩為太子的謠言。許多大臣看秦檜臉色行事，弄得“中外議頗籍籍”。高宗左顧右盼，難下立儲決心。二是高宗母親韋太後從金國回來後，因與趙璩接觸較多，對其很有好感，日常言行不免偏向趙璩。高宗是個孝子，不能不考慮母親的這種態度。此事就這樣不痛不癢地拖了下來。
紹興二十五年（1155）十月，奸相秦檜病死；二十九年（1159）九月，韋太後崩於慈寧宮。立儲的所謂兩大障礙已不複存在，大臣們又一次提出確定皇子的問題。高宗覺得再往下拖延實在難塞眾口，遂把這事提上了朝廷議事日程。然而，趙瑗和趙璩兩個究竟立誰，宋高宗再一次猶豫起來。這天，他獨處宮中，看到一個個如花似玉的宮女，一個妙計湧上心頭。遂悄悄召來內府總管，要其挑選未被臨幸的20名宮女，東府、西府各賜10人，他要看看趙瑗、趙璩在女色麵前的態度，據此決定取舍。過一段時間，宋高宗傳命將這些宮女召回，讓女官逐個對其檢驗。結果，賜給趙瑗的宮女完璧如初，而賜給趙璩的宮女全被奸過。宋高宗對此秘而不宣，但他明白了孰優孰劣，女色可以亂性，女色可以致禍，高宗利用這一傳統辦法，識別出哪個是正人君子，誰又是好色之徒。爭論了近30年的立儲君問題，靠了10名處女，就這樣一錘定音了。紹興三十年二月二十二日，朝廷舉行了隆重的皇子冊封儀式，宋高宗親筆禦書：“瑗可立為皇子，改名瑋。”趙璩仍為皇侄，一個月後，他被封為開府儀同三司，判大宗正事，垂頭喪氣地離開臨安，住進紹興王府。皇子與他擦肩而過，他至死也不會明白自己失算在哪裏。據史書記載，立皇子的製書頒布後，大臣們“動色相慶”，“中外歡悅”，說明宋高宗的這個決定英明正確，很得人心。趙瑗向皇太子之位邁出了關鍵的一步，成了惟一的皇位繼承人。
如此重大而又嚴肅的立儲問題，居然用10名處女去檢驗測定，可謂獨出心裁，曆代罕見。這件事引起了後人的爭議，宋高宗果真是用這種難以啟齒的方法選定皇子的嗎？《玄玄堂閑話》、《前橋小語》等史料中提出了不同看法，概而言之，有以下幾點：
其一，選定趙瑗為皇位繼承人，本是宋高宗的初衷。據《宋史·孝宗本紀》：孝宗（即當初的伯琮，後改趙瑗）一開始就受高宗喜歡，“紹興二年五月，選帝育於禁中”，宮中修建“資善堂”書院，主要是為了教育好趙瑗。後來趙璩（即伯玖）被召進宮後，隻有“尋詔赴資善堂聽讀”的資格。雖說他也按時受到詔封，其養母也位居皇後，但趙璩的資曆、地位仍然無法與趙瑗相比。因為趙瑗比趙璩年齡稍大，受封幾乎總要領先趙璩一步，這也是他被立為皇子的有利條件。更主要的是，趙瑗性喜儉約，厭惡驕奢，在這點上很對宋高宗的心思。這位經曆了北宋亡國、父兄被擄過程的皇帝，多少記住了一些慘痛教訓，他曾嚴厲批評過喜玩珊瑚的楚王之子趙仲氵是。趙瑗聽到這件事情，引以為戒，旰食宵衣，踵武前賢，很想有所作為。對此高宗皇帝看得十分清楚，這正是一國之君最可貴的品質。確立趙瑗為皇子，這是最主要的原因。
其二，後官方麵的大力支持，對確立趙瑗的皇子地位起了重要推動作用。所謂韋太後和吳皇後偏向趙璩，並因而幹擾了高宗立儲君的決心，於史無據，完全是秦檜一黨製造出的謠言。關於立皇子之事，韋太後從來沒有加以幹涉，從另一件事可以看出她對這類事情的態度。當時，皇後未立，高宗請母親寫道手書，韋太後說：“我但知家事，外庭非所當預。”由此推斷，這個老太太怎會幹預立皇子的事呢？吳皇後在這件事上表現得更是明智。雖然趙璩是她撫育成人的，但她並沒有想要立其為皇子，且看《宋史·吳皇後傳》中的這段話：“伯琮（趙瑗）性恭儉，喜讀書，帝與後皆愛之，封普安郡王。後嚐語帝曰：‘普安，其天日之表也。’帝意決，立為皇子，封建王。出（趙）璩居紹興。”很明顯，在確立趙瑗為皇子的問題上，吳皇後投了關鍵的讚成票，她以公正無私的行動，平息了秦檜一黨的謠言，也打消了高宗的種種顧慮。
在確立皇子問題上，宋高宗確實有種種顧慮，後宮的態度非常重要，秦檜等人的意見也要考慮。吳皇後與秦檜的關係較好，因為“秦檜等累表請立中宮”，她能進位為皇後，這個奸相是出了力的，所以她常常附和秦檜的意見。不妙的是，趙瑗與秦檜的關係卻很緊張。對此，吳皇後心中自然有數。宋高宗正是擔心她同秦檜一夥攪在一起堅持立趙璩為皇子，幸好在這件事上她沒有為秦檜所左右。恰在這時，趙瑗又立了一功。紹興二十五年（1155）十月，秦檜病重，其家人和死黨欲以秦檜之子代父職，妄圖繼續操縱朝政。趙瑗得到這個消息立即報告了高宗，高宗也認為秦氏父子太過分了，連夜駕臨秦家，挫敗了這一亂政陰謀。這件事使高宗和吳皇後感到，在大是大非麵前趙瑗有膽有識，處事果敢，為君者理應具備這種素質。吳皇後不以一己之私與趙瑗結怨，仍然積極推薦他進位皇子，說明秦檜一黨的挑撥未起任何作用。高宗原來以韋太後和吳皇後做“擋箭牌”，是想應付那些關心國本的大臣，也是為了敷衍秦檜一黨。說不定宋高宗正是看到趙瑗善斷大事的能力，再加上吳皇後的大力支持，才下決心確立他為皇子。