一九五六年十二月十七日，胡適在紐約悄悄過了他的六十六歲生日，當天到場祝壽的朋友二十多位，胡適端起酒杯說：“希望我們大家能在不久之後回返自由大陸，重建殘破家園。”江冬秀聽得這話挖苦胡適：“做你們胡家媳婦真要命，在海上跑來跑去。”胡適說：“你祖父當年發誓不把子女嫁給我們績溪人，可還是將你嫁給了我，真是活該，活該！”
胡適說出這番話顯然是有備而來，自來美國後，他一直“不舒服”，“煩躁不安”，大病一場之後，甚至提前留下遺囑，讓身邊來往的朋友十分吃驚。似乎感到來日不多，他鐵下心要回到台灣去。他對好朋友趙元任說：“我有一點小小的積蓄，在美國隻能活二三年，如果在台灣，則可以坐吃十年還有餘。台灣更吸引我，大陸搬遷過去的曆史語言研究所裏那些書對我更適用。”他打算定居在台北郊區，自己造一幢房子，幽居下來潛心做學術。蔣介石知道後，表示願意從他的著作《蘇俄在中國》的版稅中撥款建屋一座贈予胡適，並電任胡適為“中央研究院院長”。原計劃中“中研院”區域裏的那座房子追加撥款二十萬，建成一座占地50平方米的小洋房，給胡適居住。胡適表示他隻要一個學人的私人住房，而不是中研院院長的住宅，並馬上寄去2500美元作為住宅建造費。
一九五八年四月，胡適自紐約啟程返回台灣，江冬秀什麼都要帶走，包括那張破舊的雙人木床，胡適勸不住她，隻好同意。結果那張木床從紐約運到台北，讓搬家工人吃盡苦頭，所需的工錢能買上好幾張這種廉價木床。而江冬秀不依不饒，就是認為這張木床好，隻要看到這張木床，她倒頭就睡。任是再好的床胡適卻無法靜心安眠，但是總算回到了日思夜想的台灣，實在令人安慰。
胡適抵達台灣的那天，“副總統”陳誠親自到機場迎接。第二天胡適在“總統府秘書長”張群的陪同下前往士林官邸，和蔣介石談了大約一小時，說的都是學術問題。四月十日，胡適就任院長，蔣介石到會祝賀並演講，讚揚胡適“個人之高尚品德”，並號召“發揚‘明禮義、知廉恥’之道德力量”。出乎所有人的意料，胡適當麵反駁了蔣介石的這一提法。他說：“剛才總統對我個人的看法不免有點錯誤，至少，總統誇獎我的話是錯誤的。我們的任務，還不隻是講公德私德，所謂忠信孝悌禮義廉恥，這不是中國文化所獨有的，所有一切高等文化，一切宗教，一切倫理學說，都是人類共同有的。總統年歲大了，他說話的分量不免過重了一點，我們要體諒他。我個人認為，我們學術界和中央研究院應做的工作，還是在學術上。我們要提倡學術。”胡適的話沒說完，蔣介石已怫然色變，其他聽眾也一個個目瞪口呆。過後，有朋友勸胡適回台說話要小心謹慎，認為胡適有傷蔣介石的麵子。胡適自己覺得沒什麼，“諍友”總有說話的自由嘛。然而，蔣介石卻視此事為奇恥大辱，以至於夜不能寐，在日記中說胡適“狂妄荒謬”。
此後，隨著胡適明確反對蔣介石參選“第三屆總統”，兩人矛盾逐漸加深。後來，為雷震鳴冤的胡適不斷向“總統府秘書長”張群表達見蔣的要求，十一月十八日，蔣介石終於答應見一見胡適。
這次會見的氣氛遠沒有此前兩人見麵時融洽，蔣介石以前都是單獨接見胡適，這次會見時一左一右站著兩位便衣。蔣介石搶先談到了雷震問題，他說：“我對言論自由，已經放得很寬，但雷震背後有共產黨的間諜，政府不能不辦他。這一兩年來，胡先生好像隻相信雷震，不相信我們的政府。”胡適說：“今天總統說這話太重了，我當不起，我受不了。總統沒有出過國，副總統也沒有出過國，你們不會深知雷震案在國外產生的不良影響。”
這次談話大約進行了五十分鍾，最終胡適沒有取得任何結果，雷震被判刑後，《自由中國》雜誌也隨之關停，胡適想借助蔣介石在台灣推行民主的幻想也就此破滅。