粟裕在教導隊受到嚴格的軍事訓練和政治教育。教導隊每天不是一般軍隊的三操兩講,而是四操三講:早晨一次跑步,上下午各一次軍事操練,黃昏一次軍事體操;上下午各一次政治課或軍事課,晚上一小時點名訓話。早晨起床後照例是十多公裏的跑步,而且還得搶占一座百米高的山頭。軍事教練十分嚴格,一個動作不合乎要求就要重做十幾次。粟裕曾回憶說:“我參加南昌起義前在武昌葉挺部隊教導隊,要求非常嚴,連吃飯都很緊張,一個個都是狼吞虎咽。教導隊長官有時故意在飯中摻上頭發和砂子,你要挑揀就吃不飽。”①他還清楚地記得有這樣一段對話:教員:“艱苦與死何者更難受?”學員:“死更難受。”
教員:“不對,艱苦比死更難受。死隻是一瞬間的事,而艱苦則是長期的、時刻都會遇到的。如果你們能戰勝艱苦,那麼還有什麼不可戰勝的呢?”
幾十年後,粟裕大將向參加中國人民解放軍的長子戎生發問:“艱苦和死,哪個更難受?”戎生答:“當然是死。”
粟裕說:“死的過程很短暫,艱苦要熬很長時間,要有耐受力。當兵要不怕苦,不怕累,不怕緊張。”
1927年7月中旬,教導隊奉命離開武昌,經大冶、黃石港、九江向南昌進發。粟裕所在的中隊,後來成為南昌起義革命委員會的警衛隊。1927年8月1日淩晨2時,南昌起義的槍聲打響了,粟裕所在的警衛隊擔負策應由朱德任團長的第三軍官教育團起義的任務。他當時任班長。南昌起義後,警衛隊隨起義軍南下,擔任革命委員會和參謀團的警衛,並負責押運南昌繳獲的大批武器彈藥。9月底,起義軍在潮汕失敗,粟裕所在部隊後與朱德率領的第二十五師會合。10月16日,起義軍在閩贛交界的武平與圍追敵人激戰,粟裕所在的排奉命掩護部隊轉移。在戰鬥中,他第一次負了傷,一顆子彈從右耳上側頭部顳骨穿了過去。排長隻說了一句:“粟裕呀,我不能管你啦!”就卸下他的駁殼槍,趕隊去了。身負重傷的粟裕醒來後,身邊已空無一人。他抱著無論如何要趕上隊伍的信念,艱難地爬行到路上,卻又滑到了路邊的水田裏。這時,沿山邊過來的幾個戰友發現了粟裕。戰友們為他包紮好傷口,攙著他趕上了部隊。
在嚴酷的鬥爭現實麵前,一些經不起考驗的人開了小差,有的甚至叛變。起義軍到達江西信豐一帶時,2500人的隊伍隻剩下700餘人。在贛粵邊界的大庾山區,部隊進行了整編,縮編為一個團,朱德任團長,指導員陳毅,參謀長王爾琢。粟裕被任命為步兵第五連政治指導員。1927年11月上旬,部隊到達湘粵贛交界處崇義縣以西的上堡、文英、古亭地區,開展遊擊戰爭,進行了把武裝鬥爭同農民運動結合起來的初步嚐試。1928年1月,這支起義軍在湖南宜章地區發動了湘南起義,正式打出了“工農革命軍第一師”的旗幟。4月24日,朱德、陳毅率領的工農革命軍與毛澤東領導的秋收起義部隊在井岡山勝利會師。從此,粟裕加入了建立和堅持井岡山革命根據地鬥爭的行列。
在井岡山鬥爭期間,粟裕的工作多次調整,時而任黨代表,時而任連長,都是為了加強連隊共產黨的領導力量,加強政治工作。他努力學習毛澤東建軍思想,深為毛澤東提出的支部建在連上、遵守三大紀律六項注意、實行革命的民主主義等建軍原則所折服。他在回憶錄中充滿激情地說:“也許現在的青年人不能體會到官兵平等、廢止肉刑這些基本製度所產生的強大威力,因為他們是在人與人的平等關係中成長起來的。而當時,這些基本製度,喚醒了被壓迫者長期被壓抑著的人的尊嚴,激發著對未來美好的無限希望,成為大家為共產主義事業奮鬥犧牲的強大力量。這些新型的製度,是進行政治工作的強大武器。那時對於紅軍最有力的宣傳就是:‘紅軍官兵平等’,‘紅軍不打士兵’。”
那時部隊打人風氣比較嚴重,雖然已經有明令廢止肉刑,但還未被一些人所接受。粟裕是反對打罵的,但也因受舊傳統的影響,對於做壞事的人,還是覺得需要變相的體罰。連裏一個通信員好賭博,屢教不改。
一次粟裕抓到他賭博,就對他罰站,讓他腳跟並攏,兩腿彎曲下蹲,雙手舉起,這叫“兩腿半分彎”。身體再壯的人,這麼站久了也受不了。這個通信員雖然吃了苦頭,惡習仍然不改。粟裕覺得舊的管教辦法實在不行。第二次抓到他賭博,就耐心地同他談話,對他進行說服教育。談了一兩個小時,這個通信員流淚了,發誓以後不再賭博。粟裕感慨地想,對自己的同誌,舌頭真是比拳頭還靈啊!在鬥爭實踐中,粟裕更加深刻地理解了毛澤東關於建設根據地的思想。毛澤東常說,人不能老走著,老站著,也得有坐下來的時候,坐下來就靠屁股,根據地就是紅軍的屁股。毛澤東運用“分兵以發動群眾,集中以打擊敵人”的領導方法,把武裝鬥爭與根據地建設有機地結合起來。粟裕對此感觸很深。他真正領悟到打仗是為了建設根據地,建設根據地又是為了打更大的勝仗創造條件。在這一時期,他還學習了毛澤東、朱德的對敵鬥爭策略和開展遊擊戰爭的“十六字訣”,以及打遊擊戰、遊擊性的運動戰、殲滅戰等戰術,在戰爭實踐中迅速成長為一名智勇雙全的優秀的紅軍基層指揮員。在古田會議時,他曾被譽為“年輕的戰術家”。