江忠源在全州北邊八公裏處的湘江蓑衣渡口設下埋伏。湘江至此急轉向東，渡口約有數百碼寬，水流相當淺但湍急異常，河床淺灘縱橫交錯，船隻難以通行。湘江西岸多山丘，草木茂盛，林木延伸至江邊。江忠源在此伐樹塞河，打樁設阻，使船隻根本無法通過。他又將人馬藏在河西的密林之中。
太平軍先頭的船隊順著湍急的江水駛過淺灘，在河曲處轉了個彎，直直衝入巨木束成的障礙。接著炮如雨下，擱淺的船隻起了火，後麵的船也停不下來，撞到前麵的船上。船越擠越多，場麵愈加混亂，大火在船隻之間迅速蔓延，陷入重圍的太平軍和沿著湘江西岸行軍的部隊皆倉皇逃到東岸。要是江忠源有更多的人馬，要是他的同僚沒有食言，在蓑衣渡東岸也設下埋伏，那麼太平軍說不定就全軍覆沒了。不過，太平軍受創極重:三百多艘船或燒或沉或被截，約一萬名太平軍或殺或溺，其中有許多是最早的廣西拜上帝會眾，太平天國運動的狂熱與活力正是來自他們。南王馮雲山也在蓑衣渡之戰中身亡。
洪秀全和太平軍拋棄所餘船隻，穿過湘江東岸林木鬱密的山丘，徒步入湖南，欲取下臨河的商業重鎮永州，但官軍已截斷橋梁，並將船隻拖至對岸。太平軍無處可去，便又轉向南進發，發現道州守軍因為太平軍突然轉向而全無準備，防衛虛設，便於6月12日占領道州。
太平軍在道州停了一個半月，或在城裏，或是宣教，或是四處劫掠，或在道州一帶搗毀廟宇。太平軍的首領不僅要重整士氣，更要招募兵員以彌補蓑衣渡之戰的重大損失。最有可能投效太平軍的人也是最有問題的人:他們出身不同的社會團體，因種族、經濟、政治或宗教原因轉而反抗朝廷，尋求現成的改善生活之道。太平天國的領袖直接爭取這些人加入太平軍，這裏頭是有風險的，因為這些人會不會成為真正的拜上帝會教徒，會不會關心太平天國還不得而知。
太平軍在湘南以東王楊秀清、西王蕭朝貴的名義頒布若幹檄文，這二人在永安時就開始草擬其內容。他們貶抑滿族統治者及其奴才，使用的措詞既猛烈又具個人攻擊色彩。他們稱今上鹹豐皇帝是“滿洲妖”、“狗韃子”、“滿洲胡人”和“漢人死敵”。他們還提醒天地會會眾，為鹹豐賣命不僅是聽命於“老蛇魔”，而且還有損天父榮光，有違自己許下“同心同力以滅清”的血誓。有些秘密結社仍堅持恢複明朝，蕭朝貴和楊秀清避而不談，力勸他們支持“真聖主”洪秀全建立大業。
太平軍首領最早在廣西桂平一帶招募會眾時就提及“聖庫”以及向聖庫捐款的必要。桂平一帶的秘密結社也以歌謠和打油詩的方式，傳唱自己的號召:
富貴之人欠我錢，不富不窮任休閑。
貧窮之人跟我去，強似租牛耕貧田。
太平軍在紫荊山也有這麼一首相同題材的歌謠:
百萬身家欠我錢，不窮不富任耕田。
無食無穿跟我去，窮餓老天保爾安。