“選舉改進座談會的聲明”於6月15日發表後，胡適沒有再多說什麼；7月2日，選舉改進委員會所有成員請胡適在雷震家吃飯，蔣勻田、王世憲、夏道平、殷海光等人以非組黨的選舉改進委員會成員身份參加。席間，雷震請胡適對新黨講幾句話，胡適沒有拒絕。雷震在當天的日記中是這樣記述的：先生在講話時提及李萬居文章上有容忍二字，因此他“希望新黨要有容忍精神。他感到我們的第一次聲明書在罵人。美國人說我們消極，其實是指我們罵人，因我們力量太小，不要多得罪人，罵人做號召不是上策，要腳踏實地的自己工作下去，他一定支持……”應當說，胡適並沒有認為此次“不必組黨”，否則也就不會去雷震家吃這頓飯了。後來雷震因組黨而被捕，1960年10月23日，胡適在接受《聯合報》記者常勝君的采訪時再次提及對反對黨人士的態度。這篇題為《雷震、自由中國、反對黨——夜訪胡適談三事》的專訪這樣寫道：
對於現在正在形成中的“反對黨”，胡先生說：“這個問題不必多談了。”他隻重述多年來一貫的，也是不隻一次公開談到的主張，他希望一個有力量、像樣子的反對黨。但他又鄭重聲明：“我從來沒有說過由我來領導”。……他又扼要說明他對“反對黨”人士們表示過的態度，他是這樣說的：“你們可以先組成黨，至於我的態度，要看新黨的情形而定，如果組成的確是像樣子的黨，我可以公開支持；如果不好，那麼，我可以保留說話的自由，甚至批評的權利。”
在對待組黨這一問題上，胡適一貫的態度就是希望自己始終保持一個諍友的立場，而不願意參加。不參加並不代表不支持，胡適要支持的是一個“像樣子的在野黨”，這反映出他對民主政治的一種理性態度，又與他本人溫謙的個性有關。蔣介石三連任前夕，雷震曾問過胡適“今後該麼辦”？胡適當時就說：隻有民青兩黨和國民黨民主派和台灣人合組反對黨，如果組成了，他首先表示讚成，他自己不參加，留幾個無黨無派分子比較好…… 不過，台灣學者陳儀深認為：對胡適而言，或許是因為“自由主義者為維護本身的自由發言位置，常與實際政治保持若即若離的關係”，或許是因為晚年批評國民黨當局的強度已不及早年，或許是因為“沒有精力與勇氣”（胡適自語），從而導致他對新黨運動的基調一直是“支持但不領導” 正是基於這種態度，胡適才對雷震等人在組黨時借用他人、他事而“造勢”感到有些不滿。
1960年7月9日上午十一時，胡適赴美出席中美學術合作會議，雷震、成舍我、夏道平等人到機場為先生送，此後雷震就再也沒有見到胡適了……胡適走後，雷震積極投於組黨工作之中，《自由中國》編委會中有人擔心因此而毀掉一本深得人心的好雜誌。雷震一時左右為難，找來傅正征求意見。傅正是《自由中國》社少壯派人物，他對雷震說：“現在參加的人多數沒有用很嚴肅的態度思考，尤其沒有犧牲的決心，本來不十分理想。但是，《自由中國》半月刊鼓吹反對黨十多年，而我們自己也一向堅決主張台灣必須有一個強大的反對黨，現在既有這樣一個機會，我們為什麼不盡力一試？中國知識分子的最大毛病，就是隻能坐而言，不能起而行，難道我們也應該這樣？” 傅正這一番話是否讓雷震最終拋棄了心中的顧慮，無從而知。