蔣介石來到台灣之後，對於政壇的成員也進行了重新的洗牌。其中一個讓他頭疼的人物就是吳國楨。
早在1948年，蔣經國到上海“打虎”的時候，吳國楨是當時的上海市市長。因為蔣經國年輕氣盛，又選擇了鐵腕手段堅決打擊不法投機商人，引起了外界許多非議和上海商界的反彈。對蔣經國的做法，市長吳國楨有不同的看法。他認為經濟問題需要用經濟手段解決，政治上的高壓於事無補。兩個月後，蔣經國上海“打虎”失敗，事後卻將失敗的原因歸咎於吳的不合作。
1949年12月7日，國民黨權力機關遷往台北。12月15日，蔣介石任命吳國楨接替陳誠擔任台灣省主席兼保安司令、行政院政務委員，以利用吳國楨“民主先生”的形象，“全力爭取美援”。吳國楨擔任台灣省主席期間，致力於推動台灣人地方自治、農業改革，允許某些地方官員職位由普選產生，並試圖減少濫用警權。但他發現蔣經國掌握特務大權，對島內民眾濫捕亂殺，大搞白色恐怖，就時常利用省主席的職權對蔣經國進行牽製。此外，吳在舉辦台灣縣市政權選舉等方麵也與蔣氏父子的看法不合。雙方矛盾越積越深，尤其是吳與蔣經國的暗中較勁日益公開化，吳國楨經常在蔣介石麵前發泄對蔣經國的不滿，甚至說蔣經國“仗勢越權，必將成為人民仇恨的焦點”。
因為吳國楨在美國留過學，蔣介石需要利用吳國楨跟美方拉關係，所以對吳國楨十分包容。但是在朝鮮戰爭爆發後，美台關係越來越近，美方開始全力支持國民黨殘餘勢力並給予美援。這時吳國楨已經失去了利用價值，地位也因此下降。於是，在吳與小蔣的爭權中，蔣介石開始公開偏袒蔣經國，排斥吳國楨。
而此時吳國楨依然不肯服軟。他跟蔣經國與彭孟緝的特務係統也不斷發生衝突。台灣火柴公司總經理王哲甫無辜被捕，吳下令放人。台灣保安副司令彭孟緝執行蔣經國命令，堅決不放人，先判死刑；由於吳的反對，經蔣介石出麵，改判7年徒刑。吳國楨已完全無法再與蔣經國共事，蔣介石曾派黃伯度傳話，許以行政院長之職，要吳好好與蔣經國合作，願當院長兼省主席亦可。但吳國楨一概拒絕，偕妻上日月潭，聲言如果蔣介石不準許他辭職，他就不下山。
蔣介石又是痛恨又是氣憤，無奈隻好答應了他的要求。1952年複活節，吳國楨由日月潭下山，蔣介石派來一輛小轎車接他們夫婦。
途中，吳國楨的夫人因為腹痛，要求在路邊的小飯店稍作休息，但當他們再回到車上的時候，卻發現司機麵色蒼白地坐在座椅上。原來，他剛才檢查了一下車子，發現車前輪與主軸連接的地方，螺絲被人為地擰開了。如果不是因為中途停下來休息，要直接跑下山的話，很可能在半路就翻車，造成不可挽回的慘劇。
吳國楨考慮之後，認為這件事一定來自蔣介石的命令。他知道台灣不再是久留之地，於是開始處處防備。1953年4月，吳國楨辭去省主席職，蔣介石任命俞鴻鈞接替吳國楨。1953年5月24日，吳與妻子前往美國，蔣經國、陳誠到機場送行。
吳國楨來美不久，就應芝加哥WCN電視和合眾通訊社之請，先後兩次發表自己的政見。他聲明：因為目前台灣的“政府”過於趨向專權，而且當時使我請辭“省主席”的政治情況，如今依然存在，所以我並沒有馬上回台灣的決定。他還批評國民黨“一黨專政”，稱如不從速實行民主，台灣難以得到美國等西方國家的支持；並表示他出走美國完全是因為與蔣氏父子政見不合，不為所容。此言一出，即在美國引起巨大反響。一周以後，吳再接受美國一家通訊社記者采訪，指責蔣介石任人唯親，排斥異己，獨斷專行；國民黨鉗製言論，大搞特務政治，並要求徹底清查國民黨的經費來源。