在日月潭他漫不經心地撒下漁網，結果捕捉了一條長達五英尺的大魚。老漁夫見狀便說他已經20年沒見過這樣大的魚了。蔣介石心想，這是一個好兆頭。
蔣介石被徹底打敗後，決定停下來反思一下。
於是他在位於台灣中部山區的日月潭找了一個安靜的隱居之地。由於日月潭是人工所造，所以風景十分秀麗。與他同去的還有兒子蔣經國。剛到此地，蔣便接到一封電報，得知了國民黨在大陸徹底滅亡的消息。
他沉默良久，然後對兒子說：“我們到山裏走一走吧。”好長一段時間兩人都默不作聲，最後蔣介石建議到湖邊去捕魚。
於是，蔣經國從一位漁夫那裏雇來一條船，蔣介石便一人出去了。他漫不經心地撤下漁網，結果捕捉了一條長達五英尺的大魚。老漁夫見狀便說他已經20年沒見過這樣大的魚了。蔣介石心想，這是一個好兆頭。
很顯然，蔣介石在等待時來運轉，他需要好征兆。事實上也是如此，在他們老家浙江、安徽北部、四川、廣西、雲南、陝西南部和西藏邊疆等地還有零星的殘餘部隊在抵抗。
另外，在台灣、“反攻大陸”的“基地”——海南島、長江口的舟山群島、廈門對麵的金門島、東山島以及台灣西部的澎湖列島等都有“自由中國”的存在。當時，蔣介石還有各種部隊約80萬人，750輛至1000輛坦克裝甲車，還有一支擁有300至600架飛機的空軍力量。如果隻算第一線的飛機，隻有300架，如果加上所有的飛機則為600架，另外，還有70艘軍艦。
蔣介石認為所有這一切還不足以“反攻大陸”，但是，如果幸運的話，則足以與共軍對抗，並通過空襲和經濟封鎖來摧毀共產黨的統治。
在蔣得意忘形、充滿無限自信的日子裏，他拒絕了暫時放棄東北，集中力量保住關內的建議。結果他不但失去了東北，而且也加速了他失去大陸的步伐。他把戰線拉得很長，兵力分散，企圖保住一切。可他不明白對於一個長期的軍事反攻來說，有時候戰略退卻也是必要的。
在國民黨仍控製著的島嶼中，隻有台灣才是一個死裏逃生的地方。廣東近海的海南島是他舍不得放棄的一塊肥肉。他可以利用那裏的鐵礦、富有潛力的海軍設施以及靠近大陸的地理位置上的優勢，那將是一個反攻大陸的理想基地（如果他們采取有效的防禦措施的活，事情可能是這樣，但是他們沒有這樣做）。
警備司令薛嶽將軍（外號“小老虎”）擁有一支4萬人的訓練有素的常規部隊，但是，他們在內線常常遭到與國民黨警備軍數量相當的共產黨軍隊的狙擊，在1950年2月和4月之間，大陸共軍曾十次進攻海南島，但均未成功。4月16日共軍集中兵力占領了海南島，國民黨軍隊很快撤退到南部海岸。於是，蔣介石命令薛嶽將軍將其部隊撤退到台灣。
在隨後的一個月裏，一支更大規模的擁有15萬人的軍隊，乘坐16艘自由號輪船和一些小船也從長江的舟山群島撤離了。
另外還放棄了通往廣州的萬山島和福建海岸的東山島。國民黨的撤軍結束了蔣對上海和廣州的封鎖。
從此以後，蔣介石便完全失去了反攻大陸的基地。除了福建海岸的金門島和馬祖島以及澎湖列島以外，“自由中國”逐漸地退縮到台灣島上，台灣島麵積不足蘇格蘭的一半，耕地麵積下列三分之一，當時的人口為1000萬或1100萬，其中包括100至200萬來自大陸的難民。
在這種前途渺茫的形勢下，蔣介石有兩個最基本的目標，即保持政治地位和維護中國傳統的生活方式。
然而，從蔣來台灣的那一天起直到他去世，他的眾所周知的目標是“反攻大陸”。
隨著時間的流逝，他的這一目標在常常聽說它的人們心中漸漸地失去了信任。這個目標開始時是勃勃的野心，後來變成了渺茫的希望，以後又成了可望而不可及的神話，最後則變成了一種純粹的信仰。
盡管如此，它在維護國民黨對在台中國人的統治中起了重大作用。
1949年底蔣介石逃到台灣後，他為自己確立了兩個主要任務，即保衛家園，讓外國承認中華民國政府是中國人民的唯一合法政府。
這裏有一個不可否認的事實，即台灣無權控製毛澤東政府統治下的千百萬人的生活和命運。
通過殘酷的安全措施和銳意改革，蔣實現了他的第一個目標，通過一係列不大可能的事實，他使美國繼續承認國民黨政府，否認共產黨政府，從而實現了他的第二個目標。其中最重要的一個事實是20世紀50年代的朝鮮戰爭。
蔣介石在台灣采取了一係列穩定局勢的措施，其中最重要的一項是推行土地改革計劃。
陳誠一上任，蔣就指導他進行這場改革。事實上，早在1949年2月4日陳誠就任省主席後一個月，他就開始實行“減少地租”的製度。這是非常必要的。
按傳統的做法，佃農要把所產糧食的50％作為租金交給地主。在有些地方，地租甚至高達70％，況且不管天氣和收成好壞，地租要照交不誤，在實行土地改革製度期間，國民黨政府得到了中美農村建設聯合委員會的技術資助。
1951年5月25日，立法院把地租的最高限度規定為37。5％。
其目的是為了響應孫中山的“土地歸人民所有”的號召。
5月30日，行政院頒布了《公用土地出賣條例》，迫使地主將其土地賣給國家，然後國家再把土地賣給佃農，十年內分期付款，佃農可以將每年糧食總收入的25％交給國家作為抵押。
條例準許地主擁有不超過兩公頃的水澆地或四公頃的旱地。補償可用現金，也可用土地債券或公有企業的股票形式來結算。
因此、許多地主都變成了工業資本家，到1953年為止，土地改革計劃已經執行完畢，將近80％的耕地都歸其耕種者所有。
毫無疑問，陳誠的土地改革計劃是一個主要的穩定因素，它給台灣的經濟帶來了極大的繁榮。
然而，迫在眉睫的安全問題隻好通過嚴厲的管理措施加以處理。在蔣介石逃往台灣期間，中共已在國民黨人員內部扶植了許多代理人，有些還是高級官員，例如，參謀部副部長WU吳新（音譯）shin將軍和他的妻子。國民黨僅在1950年的頭6個月裏，就處理了300多起間諜案。其中包括一個擁有1000多人的地下組織。同年5月，蔣介石答應赦免所有背叛共產黨跑到台灣的人。其中有400多人獲得赦免。但是，那些被捕的並且沒有條件獲得赦免的共產黨人通常都被處決了。
此外，蔣介石還改組了國民黨。
在1950年7月22日召開的中央執行委員會常務委員會擴大會議上，蔣介石宣稱：我們必須把台灣作為我們反攻大陸的基地，作為亞洲自由民族鬥爭的先鋒隊，以友為世界和平而戰的英勇鬥士。為實現此目的，我們要徹底改組我們的黨，以便重新組織我們的革命機器和重新振奮我們的革命精神。從消極的方麵講，我們要堅持消除宗派之問以及黨內的個人之間的衝突。我們再也不能容忍那些導致我們大陸滅亡的個人主義行為和思想的存在，如果不堅決製止，那也將導致我們在台灣的滅亡。
蔣介石說：我們要幹的第一件事情就是清理整頓黨的組織和機構。中央執行委員會和中央檢查委員會被取消了，在此基礎上蔣又成立了兩個小型機構：執行行政權力的中央改革委員會和一個由黨的元老組成的顧問委員會。
那些投奔共產黨的國民黨知名人士，如傅作義和宋慶齡等已被除名，許多沒有投奔毛澤東但又拒絕來台灣的中間派也被國民黨除名。
軍隊也進行了清理。陳誠遵照蔣介石的指示解雇了上萬名軍事官員，181個軍、師和更小的軍事單位被解散了，事實上這些單位都是徒有虛名的，它們不過是充實軍官錢袋的花名冊而已。
下一步是貨幣改革。上海陷落以後，蔣介石政府就推行了新的台幣製度，以黃金和外彙為值牌，台市與美元的比值為5：1。
沒過多久，蔣介石便再次宣稱他對所管轄的領土和人民擁有絕對的統治權。
因為這時他不僅是國民黨的總司令和總裁，而且重新當上了中華民國的大總統。
1950年2月21日，蔣召開緊急會議，向還在美國的李宗仁發出了最後通碟，要他在三天內到台北，或辭去代總統的職務，李的答複是含糊其辭的。立法院於24日請求蔣恢複總統職位。他沒有拒絕。於是，3月1日蔣又當上了大總統。當上大總統後他辦的第一件事是接受閻錫山的辭職。閻本人覺得自己年老體衰，無力繼續擔任行政院院長。3月8日，蔣介石推舉陳誠將軍為中華民國行政院院長。