彭與毛相處三十多年，深知毛的脾氣，他將個人的得失早置之腦後。果然，會上，他被定為反黨分子，會後被撤去國防部長之職，林彪漁翁得利。廬山上的會議開完，不久就是國慶，又恰逢十年大慶，按慣例彭德懷是該上天安門的，請柬也已送來。彭說我這個樣子怎麼上天安門，不去了。他叫秘書把元帥服找出來疊好，把所有的軍功章找出來都交上去。秘書不忍，看著那些金燦燦的軍功章說：“留一個作紀念吧。”他說：“一個不留，都交上去。”當年居裏夫人得了諾貝爾獎後，把金質獎章送給小女兒在地上玩，那是一種對名利的淡泊。現在彭德懷把軍功章全部上交，這是一種莫名的心酸。沒幾天，他就搬出中南海到西郊掛甲屯當農夫去了。他在自己的院子裏種了三分地，把糞尿都攢起來，使勁澆水施肥，他要揭破畝產萬斤的神話。1961年11月經請示毛同意後，他回鄉調查了三十六天，寫了五個，共十多萬字的調研報告，涉及生產、工作、市場等，甚至包括一份長長的農貿市場價格，如木料一根2元5角，青菜一斤3角6分。他固執、樸實，真是一個農民，他還是當年湘潭烏石寨的那個石伢子。夫人浦安修生氣地說：“你當你的國防部長，為什麼要管經濟上的事？”他說：“我看到了就不能不管。”生性剛烈的毛澤東希望他能認個錯，好給個台階下。但更耿介的彭德懷就是不低頭。
有時候一個人的命運、成敗也許就是性格注定。廬山會議結束，彭德懷被扣上“反黨集團頭子”的帽子，其身份與階下囚也相距不遠。當大家都準備下山時，會務處打來一個電話，說為首長準備了一批上等的廬山雲霧茶，問要不要買幾斤，還特意說這種茶街上買不到。彭大怒：“街上買不到，為什麼不拿到街上去賣？盡搞這些鬼名堂，市場能不緊張？”他還特別囑秘書給接待處打一個電話：“這是一種壞風氣，以後不能再搞。”秘書提醒他，這種時候還是不要管這事吧。他無奈地說：“看來我這脾氣，一輩子也改不了。”假使彭總活到今天，看現在風氣之腐敗，又當如何？
被貶的日子裏，他一次次地寫信為自己辯護。寫得長一點的有兩次。一次是在1962年的七千人大會前，他正在湖南調查，聽說中央要開會糾“左”，他高興地說，趕快回京，給中央寫了一封八萬字的信。廬山會議已過去了3年，時間已證明他的正確，他覺得可以還一個清白了。但就在這個會上他又被點名批了一通，他絕望了。“文革”期間，這位打敗過日軍、美軍的戰神被一群紅衛兵娃娃玩弄於股掌，被當作囚犯關押、遊街、侮辱。作為交代材料，他在獄中寫了一份《自述》，那是一份長長的辯護詞，細陳自己的曆史，又是八萬字。是用在朝鮮停戰協議上簽字的那支派克筆寫的，寫在裁下來的《人民日報》的邊條上。他給專案組一份，自己又抄了一份，這份珍貴的手稿幾經周轉，親人們將它放入一個瓷罐，埋在烏石寨老屋的灶台下。直到“文革”結束才見天日。那年，我到烏石寨去尋訪彭總遺蹤，印象最深的就是這個黑糊糊的灶台和堂屋裏彭總回鄉調查時接待鄉親們的幾條簡陋的長板凳。
他憤怒了，1967年4月1日給主席寫了最後一封信，沒有下文。4月20日他給周總理寫了最後一封信，這次沒有提一句個人的事，卻說了另一件很具體的與己無關的小事。他在西南工作時看到工業石棉礦渣被隨意堆在大渡河兩岸，常年衝刷流失很是可惜。這是農民急缺的一種肥料，他說，這事有利於工農聯盟，我們不能搞了工業忘了農民。又說這麼點小事本不該打擾總理，但我不知該向誰去說。這時雖然他的身體也在受著痛苦的折磨，但他的心已經很平靜，他自知已無活下去的可能，隻是放心不下百姓。這是他對中央的最後一次建議。
毛澤東在廬山會議後對彭德懷的評價隻有一次比較客觀。那是1965年在彭德懷閑置六年後中央決定給他一點工作，派他到西南大三線去。臨行前，毛說：“也許真理在你一邊。”但這個很難得的轉機又立即被“文化大革命”的洪水所淹沒。彭德懷最終還是死於“文革”冤獄之中。“文死諫，武死戰”，他這個功臣沒有死於革命戰爭卻死於“文化革命”，沒有倒在槍炮下，卻倒在一封諫書前。
他二死其身，既經受住了“武死戰”的考驗，又通過了“文死諫”的測試。
現在我們終於明白了“文死諫”的含義，它遠比“武死戰”要難。當一個將軍在硝煙中勇敢地一衝時，他背負的代價就是一條命，以身報國，一死了之。敢將熱血灑疆場，博得烈士英雄名。而當一個文臣堅持說真話，為民請命時，他身上卻背負著更沉重的東西。首先可能失寵，會丟掉前半生的政治積累，一世英名毀於一紙；第二，可能丟掉後半生的政治生命，許多未竟之業將成泡影；第三，可能丟掉性命。更可悲的是，武死，死於戰場，死於敵人，舉國同悲同悼，受人尊敬；文死，死於不同意見，死於自己人，黑白不清，他將要忍受長期的屈辱、折磨，並且身後落上一個冤名。這就加倍地考驗一個人的忠誠。彭德懷因為這封說真話的信，前半生功名全毀，任人批判謾罵為右傾、反黨、叛國、陰謀家，扣在他背上的是一口何等沉重的黑鍋。在監禁中他被病痛折磨得在地上打滾，欲死不能。而現在我們看到的哨兵關押記錄竟是這樣的文字：“我看這個老家夥有點裝模作樣”，“這個老東西從報上點他名後就很少看報”。這就是當時一個普通士兵對這個開國老帥的態度。可知他當時的處境，其所受之辱更甚於韓信鑽胯。而許多舊友親朋，早已不敢與他往來，就連妻子也已提出與他離婚。