彭德懷率紅五軍從井岡山打到瑞金，花費了兩個月。如今回井岡山，卻非常輕鬆，沿途除了在信豐跟數十名靖衛隊打了一次小仗並全殲之，竟然沒有見到敵軍的影子。從瑞金回井岡山，輕輕鬆鬆，隻走了十天就到了。
紅五軍的隊伍也今非昔比，擴大到近千人，全都穿上了新的單衣軍服。黨代表滕代遠傷愈，歸隊了。
一到井岡山，不論是湘軍還是贛軍，早已撤了。山上一沒有吃的，二沒有住的，何況蔣介石和李宗仁桂係軍閥開戰，湘軍、贛軍都回防了。
忽地冒出一支隊伍，歡迎紅五軍。那是王佐的部隊。王佐不愧為“山大王”，在白軍占領井岡山時，他帶著隊伍躲進了老林。從黃洋界跳崖的李燦，帶著殘部和他會合。
隨彭德懷一起回到井岡山的姚哲，曾寫下這樣目擊的慘象：“這時茨坪的房子被敵人燒光了，到處都是屍體，在一個浸紙漿的池子裏就看見好幾具屍體，屍體的手和腳都爛了。我們在茨坪住了一晚，山上下來了一些老百姓，他們的臉也沒有洗，頭發、胡子都很長，苦得很，一見我們都哭起來了，我們紛紛把自己的衣服、布和毛巾等東西送給他們，並且將帶來的銀元，每人發給一塊錢。”
袁文才也在山上，卻躲了起來，不敢見彭德懷。
其實，袁文才沒有參加守山。當時，他被調離三十二團，擔任紅四軍參謀長，一直跟毛澤東、朱德在一起。當毛澤東率紅四軍到達吉安東固時，他聽說井岡山失守，記掛家鄉親屬，就開小差跑回去了。到了井岡山，他找到了王佐，躲在王佐家住了下來，生怕上級知道會殺他的頭。
雖說王佐跟袁文才是“鐵哥們”，他還是把袁文才開小差之事報告了黨代表何長工。何長工找袁文才談話，給了他口頭警告，同時又安排他擔任中共寧岡縣委副書記。
這樣，袁文才的情緒總算穩定了。
袁文才開小差，固然不對，但是，他產生異心，卻也是有原因的——那便是中共“六大”文件中的一段話。
當那些“襯衫文件”運到井岡山以後，毛澤東在傳達時，特地刪去了那一段話。袁文才風聞此事，想方設法弄到了文件的全文，看到了那段話，使他大吃一驚。
那是中共“六大”通過的《蘇維埃政權組織問題決議案》第十條對土匪的關係，原文如下：
與土匪或類似的團體聯盟僅在武裝起義前可以適用。武裝起義之後宜解除其武裝，並嚴厲地鎮壓他們，這是保持地方秩序和避免反革命的頭領死灰複燃。他們的首領應當作反革命的首領看待，即令他們幫助武裝起又亦應如此。這類首領均應完全殲除。讓土匪深入革命軍隊或政府中，是危險異常的。這些分子必須從革命軍隊和政府機關中驅逐出去，即其最可靠的一部分，亦隻能利用他們在敵人後方工作，絕不能置他們於蘇維埃政府範圍之內。
這一段話，明顯帶有“左”的色彩，所以毛澤東不予傳達——這不僅僅考慮到袁文才、王佐在場，而且還在於毛澤東一開始對這兩位“山大王”就采取團結、信任的態度。
袁文才的文化水平比王佐高，有政治頭腦，所以當他聽說一點風聲，便非要弄到原文不可。看罷心驚肉跳。好在毛澤東跟他已建立起深厚的感情，他相信毛澤東，但是他擔心天長日久，萬一有變，那便不堪設想，袁文才把偷看到的文件內容，告訴了王佐，王佐也頓時臉色驟變。
在“襯衫文件”到達井岡山時，就有人主張殺袁、王，說是執行中共“六大”的決議。但毛澤東堅持反對，反而任命袁文才為紅四軍參謀長。
仍有不少人持異議，楊開明便是其中的一個。1929年1月，他前往上海代表前委向中共中央彙報時，便在其《報告》中寫道：
袁、王二人都非常狡猾，且有能力，對黨的認識很薄弱，小資產階級意識非常濃厚，信仰個人，不相信群眾，個性很強，不接受批評，邊界因稱為“特別黨員”。