李的所作所為，確使再度登基的蔣介石感到芒刺在背，必欲去之而後快。首先，蔣指使“國大代表”胡鍾吾等711人聯名，要求罷免李宗仁的“副總統”職務。1950年5月5日，胡鍾吾等711人簽署，召集“國民大會”臨時會，提出罷免李宗仁的“副總統”職務，其“罪狀”有三：
其一，胡等人認為：李宗仁自任“代總統”以來，“妄倡和平，而養癰成患，奢言抵抗，而失地喪師”。大陸淪喪之際，“竟借詞出巡，擅行赴美……跡近逃亡，置國家人民於不顧”。對李“放棄職權，貽誤國家”罪，已構成罷免理由。
其二，胡等人認為：李在國外“遙領元首職權，而不負絲毫責任，以國事為兒戲，視大法弁髦”。故對“違法失職”的李宗仁“副總統”職務應予罷免。
其三，胡等人認為蔣已複職，李“代總統”職應自動解除，現存一“總統”，一“代總統”，是李破壞“法統”、“動搖國本”、“顛覆民國”，固應罷免。
胡鍾吾等711聯名蓋章罷免李宗仁“副總統”的簽署書，於1950年5月5日送交“國民大會”秘書處，請依“法”轉請“政府”召集“國民大會”臨時會議行使“國大”罷免權。
與此同時，“國民大會代表全國聯誼會”受蔣介石指使，也提出罷免李宗仁“副總統”案，請秘書處依“法”轉請集會。但也有百數十“國大代表”提議：認為時值非常，應以軍事第一，“罷免”一節，應俟局勢穩定再予提出。由於眾多“國大代表”的反對，蔣介石不得已，電“國大”秘書處，令“國大”緩期召開，本案暫予擱置。但蔣不死心，仍策動一部分“國大代表”從事“罷免”運動。
1952年1月，“監察委員”金維係等92人受蔣介石指使，提出“為副總統李宗仁違法失職提請彈劾”一案。該案經“監察院”大會審查成立。在“監察院”的《審查決定報告書》中稱：
“奉交審查金委員維係等92人彈劾副總統李宗仁違法失職一案，當經本院全體委員過半數之共同審查，僉認副總統李宗仁於代行總統職權期間棄職出國，複於代總統名義解除後在外國擅發命令，顯係違法失職。至其公開聲明，‘擬有恢複中國合作政府計劃，不久即可宣布，此計劃並非完全依賴武力’，顯係有顛覆政府危害國家之意圖，實觸犯刑法第100條之罪行，當經決議：‘本院應予成立，依憲法第100條之規定，向國民大會提出，其觸犯刑法部分，依監察法第15條之規定，徑送司法機關依法辦理。’”
該案成立後，“監察院”將“彈劾李宗仁案”送交“國大”秘書處。“國大”秘書長奉蔣令行事，立即依“法”分別谘“立法院”院長並函“副總統”李宗仁返台接受彈劾。洪蘭友致李宗仁的電文如下：
“李副總統勳鑒，準立法院院長移送監察院向國民大會提出彈劾副總統李宗仁案，茲以國民大會依法定於本年2月19日集會，用特電陳監察，先期命駕返國，以便將彈劾案副本正式送請察答辯。”
李宗仁接電後未予理睬，也未到台。“立法院長”接到“國民大會”秘書長請通知召集“國大”臨時函件後，原應依“法”迅即召集，但因當時“國大代表”不足“法定”集會人數，未能按期召開。直到1953年底“立法院”奉蔣介石令采取非常措施之後，湊足“法定”代表人數，決定1954年2月19日召開“國民大會”一屆二次會議。1954年1月13日，“國大”秘書長洪蘭友再電李宗仁，令其返台對“監察院”彈劾案提出答辯。
李宗仁接洪蘭友電後，認為彈劾案的提出和通過是非法的。2月5日，李親致蔣介石一函稱：
“按照憲法第90條，全體監察人員的人數，確定為223人。又按憲法第1005條，對總統副總統之彈劾案，須得全體監察委員過半數之決議，向國民大會提出之。過半數為113人。前年1月11日監察院出席委員隻為93人，湊足法定人數尚少20人。吾兄竟唆使違法集會，對仁提出彈劾，所持理由，為若幹委員減為160人。憲法明文規定之人數，可以任意減少，毀法弄權，莫此為甚。”
對於李宗仁猛烈的抨擊，蔣介石不予理會。在李宗仁未到台答辯的情況下，蔣介石一手操縱的一屆二次“國民大會”第六次會議終於通過了“國大代表”所簽署“副總統”李宗仁“違憲背誓”罷免案與“監察院”所提“副總統”李宗仁“違法失職”的彈劾案。至此，罷免李宗仁的鬧劇落下帷幕。
三、實施“大手術”，改造國民黨
蔣介石退到台灣後，並不甘心失敗，決心以“田單複國”精神發憤圖強，幻想有朝一日，實現反攻大陸。為此，他一方麵要把台灣的經濟建設搞好，作為立足之本。同時，又必須革新政治，改造他的腐敗不堪的國民黨，這是他在大陸失敗中得到的悲慘教訓。特別是針對內部各係統在大敗後一團混亂的狀況，必須進行整頓，首先就是要實施他謀劃已久的國民黨“改造”運動。
蔣介石下野後，用了很多精力來探究其失敗的原因。到了台灣後，更是反複思考這個與他命運攸關的問題，總結了他在大陸失敗的原因。他特別提出，外交、經濟、軍事、教育等方麵的失敗還不是最大的失敗，最大的失敗是政治上的失敗，而導致政治失敗的重要原因是黨的建設的失敗。蔣介石依據上述失敗原因的總結，確定了要對國民黨實行改造。大體來說，促使蔣介石下決心改造國民黨，有下列幾方麵的原因: