毛澤東接著談道：“假如辦十件事，九件是壞的，一定滅亡，應當滅亡。那我就走，到農村去。你解放軍不跟我走，我就組織紅軍去，另外組織解放軍。我看解放軍會跟我走。”講到這裏，會場氣氛緊張起來。
“我勸一部分同誌講話的方向要注意。講話的內容基本正確，部分不妥。……這些同誌，據我看不是右派，是中間派，不是左派。一些人碰了一些釘子，頭破血流，憂心如焚，站不住腳，動搖了，站到中間去了。究竟中間偏左偏右，還要分析。重複了1956年下半年、1957年上半年犯錯誤的同誌的道路。他們不是右派，可是自己把自己拋到右派邊緣去了，距右派還有三十公裏，因為右派很歡迎這種論調。……這種同誌采取邊緣政策，相當危險。不相信，將來看。”
“距右派還有三十公裏”，這是全篇講話中最厲害的一句話，意味著對彭德懷的定性。
“食堂是好事，未可厚非。我讚成積極辦好，自願參加，糧食到戶，節約歸己。如果在全國範圍內能保持三分之一，我就滿意了。第二個希望，一半左右。食堂並不是我們發明的，是群眾創造的，河北1956年公社之前就有辦的。……可是科學院昌黎調查組，說食堂沒有一點好處，攻其一點，不及其餘。……食堂可以多辦一點，再試試看，試他一年、二年，估計可以辦成。”
毛澤東提到的科學院昌黎調查組，指的是1959年中國科學院經濟研究所研究員董謙領導的赴河北昌黎調查人民公社問題的調查組。根據中國科學院保存的檔案，在“反右傾”運動中，董謙被劃為右傾機會主義分子。1961年平反。在1961年中共中央工作會議期間，5月27日，中國科學院黨組書記張勁夫在黨組擴大會議上講話時指出：“科學院有一個具體事例，就是董謙為食堂問題被批判為右傾機會主義分子，現在主席、少奇同誌指示要平反。”1964年4月2日，毛澤東在同王任重談話時曾指出：“在1959年春，隻有科學院的昌黎調查組是正確的。”
肯定了食堂後，毛澤東接著說：“有許多事根本料不到。不是說黨不管黨嘛，一個時期計劃機關不管計劃。計劃機關不隻是計委，還有各部，還有地方。地方可以原諒。所謂不管計劃，就是不搞綜合平衡。根本不去計算，要多少煤、多少鐵，就要多少運力。……去年八月以前，主要精力放在革命方麵，對建設根本外行。在西樓開會時講過，不要寫‘英明領導’，管都沒管，還說什麼英明？但是，同誌們，1958年、1959年主要責任在我身上，應該說我。過去說恩來、陳雲，現在應該說我。……大辦鋼鐵的發明權是柯慶施還是我？我說是我。我和柯慶施談過一次話。他說華東搞六百萬噸。以後我找大家談話，有王鶴壽，也覺得可行。我六月講一千零七十萬噸，後來去做，北戴河會議上有同誌建議搞到公報上，也覺得可以。從此闖下大禍，九千萬人上陣，搞了小土群，補貼四十億，今年二十億，明年十五億，後年五億，共八十億。去年是小土群，今年是小洋群，‘得不償失’、‘得失相等’等說法，即由此而來。”
“我有兩條罪狀：一個是一千零七十萬噸鋼，是我下的決心，始作俑者是我，主要責任在我。一個是人民公社，人民公社我無發明之權，有推廣之權。北戴河會議決議是我建議寫的。”
“我們現在的經濟工作，是否會像1927年那麼失敗？像二萬五千裏長征時那樣，蘇區縮小到十分之一？不能這樣講。也不是大部分失敗，是一部分失敗。如果講責任，李富春、王鶴壽，有點責任，農業部、譚震林有責任，第一個責任是我。柯老，你有沒有責任？華東一個地區你就要六百萬噸，我是全國一千零七十萬噸。同誌們自已的責任都要分析一下。”
毛澤東的這番談話，使廬山會議從反“左”一下子轉到了反右，而且反右的聲浪不斷升級。黃克誠後來回憶：“主席的講話對我們是當頭一棒，大家都十分震驚。……我對主席的講話，思想不通，心情沉重；彭德懷負擔更重，我們兩人都吃不下晚飯；雖然住在同一棟房子裏，但卻避免交談。我不明白主席為什麼忽然來一個大轉彎，把糾‘左’的會議，變成了反‘右’；反複思索，不得其解。”
會散了。毛澤東走出會場，彭德懷迎上前去，說：“主席，那封信是我寫給你作參考的，為什麼把它印發了？”毛澤東愣了一下，說：“你也沒有講不要印發嘛。”事後，彭德懷在筆記中寫道：“我當時盡量抑製了激動的感情，避免爭吵，離開他到總理處開會去了。”
當天夜裏，黃克誠和周小舟、李銳、周惠等人在一起發牢騷。他們懷疑毛澤東的這篇講話是否經過常委討論；按照講話精神發展下去，很像斯大林晚年，沒有真正的集體領導，隻有個人獨斷專行，這樣終將導致黨的分裂。大家覺得毛澤東對一些問題的決定反複變化太快，“翻雲覆雨”，“一百八十度轉變”，使人轉不過彎，多年來的順境，毛澤東確實驕傲起來了。還說，袁世凱稱帝前，圍著袁的那些人，專門印一種報紙給袁看，意謂毛澤東受了蒙蔽。毛澤東不應該在第一線指揮經濟建設，應退到第二線等等。
這些話後來在小組討論會上許多人的一再催逼下，被黃克誠等人交待了出來，更激怒了毛澤東和與會的許多同誌。彭德懷、黃克誠、張聞天等人在隨後的會議上多次違心地作檢討，但也無法過關。毛澤東決定在廬山接著開八屆八中全會，把中央委員全都請上山來，解決彭德懷等人的問題。有的中央委員一時趕不到，即命部隊用飛機送上山來。林彪就在此時被當作“救兵”搬上了山，他在常委會上大罵彭德懷是“野心家，陰謀家，偽君子”，並說在中國隻有毛澤東是大英雄，誰也不要想當英雄。7月31日，8月1日，兩個晚上都開政治局常委擴大會，聯係彭德懷的曆史問題，對他進行了批判。
毛澤東說：“彭德懷和他共事三十多年，是三分合作，七分不合作。北戴河會議不講，鄭州會議不講，上海會議不講，廬山會議快結束了，怕沒有機會了，就下戰書了。彭德懷他們是要瓦解黨，是有計劃、有組織、有準備，從右麵向正確路線進攻。”但他也沒有把彭德懷一棍子打死，也表示：“彭德懷出身勞動人民，感情站在革命方麵，對群眾有感情。問題是經驗主義。”
1959年8月2日到8月16日，中共八屆八中全會在廬山舉行，作出了《關於以彭德懷同誌為首的反黨集團的錯誤的決議》，把彭德懷、黃克誠、張聞天、周小舟分別調離國防、外交、省委第一書記等工作崗位，但仍保留了他們的政治局委員、政治局候補委員、中央候補委員等職務。
8月16日下午，八屆八中全會閉幕。毛澤東再次講話，又講到海瑞：“現在聽說海瑞出在你們那個裏頭，海瑞搬了家了。明朝的海瑞是個左派，他代表富裕中農、富農、城市市民，向著大地主大官僚作鬥爭。現在海瑞搬家，搬到右傾司令部去了，向著馬克思主義作鬥爭。這樣的海瑞，是右派海瑞。我不是在上海提倡了一番海瑞嗎？有人講，我這個人又提倡海瑞，又不喜歡出現海瑞。那有一半是真的。海瑞變了右派我就不高興呀，我就要跟這種海瑞作鬥爭。”
毛澤東又一次表示，這樣長久的曆史，比如彭德懷同誌，我說三十一年就這麼散了啊？毛澤東借用孔夫子的一句話，“狂者進取，狷者有所不為也”，表達他希望彭德懷等人改正錯誤的心情。最後，毛澤東用林彪發言中的兩句話，結束了他的講話：廬山會議“避免了一個大馬鞍形，避免了一次黨的分裂”。
廬山會議結束後，在全國掀起了“反右傾”運動的高潮。彭、黃、張、周等人雖然被保留了黨內職務，但對幾十萬所謂“右傾機會主義分子”的處理，一般都開除黨籍，撤銷黨內外一切職務，勞動改造，長期下放。
廬山會議打亂了黨中央和毛澤東剛剛開始的糾“左”工作，使大躍進中的一些“左”傾錯誤政策得到了進一步發展，導致了1959年底、1960年全國經濟形勢的進一步惡化，全國工農業生產大幅度下降，人民生活水平日益降低，市場供應緊張，商品嚴重缺乏，我國進入了三年困難時期。