粟裕隨部隊翻山越嶺到達饒平和二十五師會合，國民黨集中5個師前來襲擊。朱德領導部隊略加整頓以後，立即急行軍向閩粵贛交界方向作戰略轉移。
10月16日，起義軍進到閩贛交界的武平。17日，國民黨軍錢大鈞部跟著到了武平。朱德指揮部隊在這裏打了一個退卻戰，打退錢大鈞兩個團的進攻，隨後命令粟裕所在排占領武平西門外的山坡，掩護大部隊轉移。錢大鈞部進入武平城內，隨即追出西門。粟裕和戰友們一陣猛打，敵人不知虛實，慌慌張張退回到城內。在戰鬥中，粟裕被子彈擊中負傷，戰友連忙把他扶起來，給他包紮好傷口，攙著他趕上了部隊。
大革命失敗了，南昌起義軍主力又在潮汕幾乎覆沒，部隊中有的人不辭而別了，有的帶著一些人自尋出路去了。粟裕沒有走，他拖著重傷的身軀，艱難而堅定地跟著部隊前進。
10月底，部隊來到贛粵邊境的大庾山區。這時國民黨新軍閥各派之間爆發了幾場混戰，放鬆了對起義軍的追擊。朱德抓住這個時機，對部隊進行了全麵的整頓，這就是著名的“大庾整編”。粟裕自始至終參加了整編。部隊共組成9個連隊，其中7個步兵連、1個迫擊炮連、1個重機槍連，粟裕被提升為步兵第五連指導員。
隨後的幾個月，部隊輾轉於湘、粵、贛三省。1928年4月，經過對形勢的判斷和分析，朱德決定撤出湘南，向井岡山地區轉移。毛澤東親率井岡山工農革命軍趕來迎接，並掩護湘南部隊順利到達礱市，隨後兩支隊伍在井岡山勝利會師。到了井岡山，粟裕軍事生涯從此翻開了新的一頁。