經過艱苦的努力，一個紅色遊擊根據地的雛形在浙西南形成了。
挺進師的活動和遊擊根據地的初步建立，使得反動當局惶恐不安。國民黨浙江省政府主席黃紹竑召開緊急會議，決定拿出全部家當，共4個保安團和11個保安大隊，加上剛從南京派來的一個稅警團，由其親自率領，分4路向浙西南猛撲過來。
敵人的反撲，早在粟裕的預料之中。他將主力分成南北兩路，跳出去，轉入敵後，指揮部隊輾轉遊擊。9月中旬，粉碎了敵人的進攻，把遊擊區擴大到5個縣，縱橫上百裏，挺進師在浙江立住了腳。
粟裕領導的浙西南遊擊根據地攪得蔣介石寢食難安，他決定調用主力部隊對其進行“圍剿”。七、八月間，蔣介石先後任命衛立煌、羅卓英為“閩贛浙皖四省邊區剿匪總指揮部”的正副總指揮，確定“以各邊區的大部對粟、劉”，並授權第十八軍軍長羅卓英統一指揮。
羅卓英共調集了32個整團共約六七萬人，加上地主武裝，號稱40個團，用來“圍剿”千餘人的紅軍挺進師。
挺進師越戰越強，到1936年底，部隊由幾百人發展到了一千五六百人，地方遊擊隊和群眾武裝也達到了數千人，活動範圍擴大到溫州、台州、金華、衢州、紹興等地區所屬的30多個縣境。
西安事變後，蔣介石並未停止對南方紅軍遊擊隊的進攻，命劉建緒調集國民黨主力部隊6個師、2個獨立旅及地方保安團共43個團，籌劃對浙南遊擊區進攻。
在強敵麵前，為了保存紅軍遊擊隊，堅持武裝鬥爭的旗幟，粟裕確立了新的指導思想：把隱蔽精幹、保存力量同機動靈活、積極作戰的方針統一起來。
三年遊擊戰爭，處境十分艱苦。三年之間，粟裕的足跡遍布了浙贛路以南、天台山以西、閩浙邊以北的大大小小的山頭。
1937年7月7日，盧溝橋事變爆發，中華民族抗日戰爭開始。不久，第二次國共合作形成。
在浙南遊擊戰場上的粟裕因為消息閉塞，沒有及時獲悉國共兩黨實現第二次合作的消息。1937年9月間，粟裕率部在門陣地區活動，聽說“共產黨投降了，紅軍被收編了”，粟裕判斷可能是國共合作了。
此時，臨時省委已同國民黨浙江當局達成了停戰協議，粟裕決定集中部隊開赴浙南平陽與劉英會合。平陽會師後，紅軍遊擊隊改編為“國民革命軍浙閩邊抗日遊擊總隊”。1938年3月間，粟裕率遊擊總隊從浙南出發，奉命赴皖南，加入了新四軍的戰鬥行列，整編為新四軍第二支隊第四團第三營，從而結束了艱難的浙南三年遊擊戰爭。
抗日戰爭爆發後，粟裕率部挺進江南，在江蘇句容的韋崗地區，“脫手斬得小樓蘭”。黃橋一戰，大敗韓德勤。獨立領導蘇中抗日根據地的鬥爭，粉碎了敵人的多次“掃蕩”和“清鄉”，車橋戰役創造了新四軍大規模攻勢作戰的範例。後又取得天目山反頑勝利。
1938年6月，江南一帶的局勢一片混亂，國土淪喪，漢奸四起，土匪蜂擁，人民叫苦不迭。對剛剛進入這片土地的新四軍，江南人民因不了解而拒其於千裏之外。粟裕意識到隻有用勝利，用抗日的實際行動才能打開局麵，擴大新四軍的政治影響，鼓舞江南人民的抗戰信心。當時已是新四軍先遣支隊司令員的粟裕決定設伏於從牌崗伸向韋崗、竹子崗那條蜿蜒的公路上，以出敵不意的迅猛動作，打一個漂亮的伏擊戰。
6月17日夜，所有參戰部隊緊張地進行了通宵的準備工作。第二天淩晨，粟裕親率八九十名精幹的戰士伏擊在公路兩側。6月18日上午8點20分，雨淅淅瀝瀝地下個不停，從鎮江方向傳來了汽車的馬達聲，敵軍車一共5輛，很快開進韋崗伏擊區。粟裕舉起手槍，一聲令下：“開火！”日軍的車隊頓時四麵碰上了火壁一般。一輛卡車司機的頭被擊碎了，那輛車周身冒火，衝到一個土埂上，又退回來，翻倒了。兩個敵軍官中彈跌翻在車底下。接踵而來的3輛軍車也停了下來。一時間，卡車在冒煙，敵人在嗥叫，槍聲、手榴彈爆炸聲、軍號聲、喊殺聲震蕩山穀。20多個殘敵在兩個日本軍官帶領下，慌慌張張著組織反擊。他們有的跳進公路邊的溝塹，有的竄入路邊的草叢，有的藏在車後負隅頑抗。
這次新四軍江南抗日的處女戰擊斃日軍少佐土井、大尉梅澤以下30餘名，擊毀汽車5輛，繳獲長槍20餘支，日鈔七千元，還有日軍軍旗、戰刀及車上大批軍需物資。
初戰隻用了半個小時就大獲全勝。粟裕隨即指揮部隊轉移，等日軍大批援軍趕來時隻能是撲了個空。
這次戰鬥，是新四軍挺進江南的第一戰。首戰告捷，打破了日軍不可戰勝的神話，極大地鼓舞了軍民抗戰熱情。