賀炳炎的十八團有2000多人，在板栗園的南口東側的山上築起一道簡單的工事。他把打仗最猛的三營放在正麵，一、二營放在兩側，團指揮所和警衛連就設在三營後麵。
等到11點鍾，敵人果然來了。他們以為紅軍還在圍攻龍山，所以既不派警戒，也不搜索，沿著大路，源源湧來。一色的灰軍服。人喊馬嘶，塵土飛揚。隊伍裏隱隱約約還有一架滑竿，4個兵抬著，50多個短槍兵前呼後擁。賀炳炎猜想，這大概是敵人的師長吧！倒要記住，不要讓他漏網了。
賀炳炎隱伏在偽裝的工事裏，槍口對著敵人慢慢移動。放過了敵人先頭部隊，等後續部隊也全部進入伏擊圈以後，他朝司號員做了個手勢，司號員立即吹起號來，接著通信兵也朝各營打旗語。
號聲剛起，三營就打出了第一槍。敵人先頭部隊猛然煞住腳，還在猶豫。三營的機槍便朝著敵人堆裏打開了！幾挺不久前繳來的機槍，頓時噴出火舌，像一陣旋風，逐地卷起。這一來，敵人的威風被刮走了，立刻亂了套，受驚的騾馬翹起前蹄嘶叫，敵人的軍官狂喊著，極力製止士兵四處亂跑。慌亂了一陣，敵人鎮定下來，軍官們拔出指揮刀，驅趕著士兵，想搶占四周的小山包、土坎、田埂和樹叢，一邊抵抗，一邊飛快地挖工事。
敵人的北方部隊最講究做工事，每個士兵身上都背著一把十字鎬和一把鐵鍬。賀炳炎一看敵人的動作，就知道這是一支有訓練有戰鬥力的部隊。等敵人工事做好，要解決他們就困難一些了。於是他朝部隊喊：“同誌們，瞄準打，不讓他們做工事呀！”
敵人拚老命的進攻一次次都被打退了。在這時候，誰能堅持下去，誰就能勝利。敵人打得很頑強，雖然死傷遍地，但大部分活著的仍不投降。最後，謝彬和他的警衛營，在西側的半山上占領了一個土圍子，敵人便以這個土圍子為中心，逐漸凝集起來，和紅軍對峙。
賀炳炎正在思慮如何整頓部隊，忽然總指揮部的傳令兵騎馬奔來，朝賀炳炎嚷道：“賀團長，總指揮命令你指揮四師堅決殲滅敵人！”
一聽到命令，賀炳炎立刻命令十八團向敵人衝擊，其他各團占領四周陣地，防備敵人突圍。十八團傷亡近一半，但還有1000多人，個個打得眼都紅了，見敵人就刺。
眼看著隻剩下那個土圍子，最後的衝擊開始了，賀炳炎率領戰士們不顧一切地朝上擁。謝彬的警衛營一字形地排在圍子上，朝他們掃射，賀炳炎便用機槍壓製，掃倒一排又站起一排。最後，敵人不多了，再也不站起來了，在賀炳炎重機槍的掃射下，隻是伏在牆上從槍眼裏向外打。衝鋒部隊就趁這個有利形勢，迅速衝到圍牆跟前，戰士們就從四麵八方向裏爬去，迅速殲滅了裏麵的敵人。
這時，一個戰士押著由敵人士兵抬著的一副滑竿向賀炳炎走來。滑竿上倒著一個大白胖子，腹部有一大塊血跡。這個戰士向賀炳炎報告說：“團長，敵人的師長謝彬叫我們抓住了。呶，像死豬一樣！”
8月8日，紅軍返回湘西，又在芭蕉索擊潰敵10個團，從而粉碎了敵人對湘鄂川黔邊根據地的“圍剿”，板栗園阻擊戰取得了重大的勝利。