湘軍士氣高，紀律好，訓練有素，能打仗。但是，作為一支大軍，要想維持下來，必須有穩定的財源。當初，鹹豐皇帝指望曾國藩們的，隻是團練。團練是地方民兵，編練由鄉紳，供應由地方解決，基本上是靠鄉紳的捐助和地方的攤派。然而，曾國藩辦的不是團練，他把團和練拆開了，地方的民團，交給一般鄉紳去辦，他辦的，是練，一支正規軍。
這支正規軍編成之後，很快就出省作戰。但是，這支軍隊，其實妾身未明，並沒有正規軍的身份。一支軍隊的維持，說白了，是靠錢，沒錢，神仙下凡也帶不了兵。所以，湘軍的供給問題，必須有通盤的辦法。但是在當時，朝廷的國庫已經空了，不僅湘軍沒有供養渠道，就連綠營，此時也經常吃了上頓沒下頓。清朝是個量入為出的國家，財政收入有限，主要的收入是田賦和鹽稅，平時結餘就不多。鴉片戰爭打了兩年，鬧下的虧空此時還沒有填上。此番應付太平軍，其實國家根本就沒有這筆軍費。寅吃卯糧，東挪西湊，好不容易挨了幾年，等到湘軍起來，指望國庫肯定是沒辦法了。好在跟太平軍相比，擁有士大夫支持的朝廷，對於解決自己的穩定財源，很快就有了辦法。這就是江北大營的幫辦雷以誠用錢江之策，開辦的厘金製度。
湘軍統帥曾國藩像。曾國藩（1811—1872年），湖南湘鄉人，中國近代政治家、軍事家、理學家、文學家，與胡林翼並稱曾胡。因討伐太平軍時大肆屠殺平民而被稱為曾剃頭或曾屠戶。
開征厘金，實際上就是收取商稅。清朝的財政之所以困頓，就是因為它長期執行重農抑商政策，不收商稅，也不鼓勵商業的發展，所以才有流民暴增、社會狀況惡化的後果。厘金既收之於坐商，也收之於行商。收之於坐商的，叫坐厘，應該是交易稅。收之於行商的，叫行厘，應該是通過稅。政府一旦開征厘金，等於肯定了商業的價值，所以，即使在戰亂時期，依舊有利可圖。但是，就國家稅收體係而言，厘金的征收跟湘軍的崛起一樣，都屬於體製外的臨時措施。清政府規範厘金，隻能靠授權地方政府開征。
盡管朝廷對湘軍的依賴越來越嚴重，但湘軍的供給卻有了大麻煩。胡林翼的部下，由於胡有湖北巡撫的官職，還好辦一點兒；但曾國藩開初隻是一個在籍侍郎，沒有地方權力，想要籌餉，困難重重。所以，雖然厘金的征收是支撐湘淮軍的主要財源，但如果要開征厘金，必須握有地方政府的權力，否則就沒有合法性。不僅商人不肯繳納，就是地方政府也會來驅趕。在曾國藩的湘軍出省作戰的最初歲月，就經常遭遇這樣的尷尬。擅自設立的厘卡，經常會被當地官員派人解散。而鹹豐皇帝對於是否給予曾國藩等人地方行政權力，最初還是有疑慮的。湘軍最初克複武漢，鹹豐是想給曾國藩湖北巡撫的。這個官職，恰也是曾國藩特別需要的。但是，軍機大臣祁寯藻卻說，曾國藩一在籍侍郎，不過是一匹夫而已，一匹夫振臂一呼，而應者雲集，從者萬人，非朝廷之福。於是，就暫時擱置了對曾的任命。
祁寯藻和鹹豐的憂慮，是傳統王朝的傳統憂慮。忌諱給領兵大員以地方行政權，因其容易造成割據和尾大不掉的後果。但是，傳統是傳統，在這種生死存亡之際，這樣的傳統憂慮是顧不得的。所以，最終在權臣肅順的斡旋下，曾國藩還是得到了地方行政權。在鹹豐死前，曾國藩已經是兩江總督了，節製三省。辛酉政變之後，新上台的西太後和恭親王奕，審時度勢，並沒有在意肅順跟曾國藩的舊關係，給了曾國藩更大的地方權力，允許他可以節製四省，事實上成為剿滅太平天國的戰時總指揮。
湘軍是一種體製外的元素，厘金也是。兩者撞到一起，形成了一種在不觸動原有體製的情況下的體外運行機製。對於現代化程度特別高的淮軍，它的財源甚至還包括剛剛成型的海關關稅，事實上也是一個半體製外的財源。無疑，正是這種體製外的運行機製，才救了這個王朝。否則，即使有了湘淮軍，也會被糧餉問題困死，隻能縮回到本鄉本土，變成團練。顯然，團練已經不足以應付太平軍了。這是一個很有意思的現象，一個製度機器鏽蝕的王朝，不用靠自身的改革，無需改弦易轍，隻添加了幾種體製外的要素，讓它們自己運行，就可以把這個王朝從危機中救過來。事實上，一直到太平天國覆滅，清朝的八旗和綠營還都在，官僚體係也沒有大的變動，但是，這個王朝，已經活過來了。