胡林翼經過調查，掌握了官軍和差役的情況，提出“兵差萬不足用”。他親自訓練一百名壯勇，發放月餉，每人每月可得四串錢。公款不夠，他自己掏腰包補足，每月補貼二百多兩銀子。如此就有了一支信得過的武裝力量。
在兵法方麵，胡林翼也有所改進。他仿照明朝參將沈希儀和嘉慶時期傅鼐行之有效的戰法，派出精幹的小分隊四處巡邏，流動偵察，找準盜賊巢穴，猛烈突襲。猶如老鷹盤旋在空中，發現獵物，一頭猛紮下去，名曰“因間雕剿”。這種戰法靈活機動，打擊精確，比起過去的圍剿之法強了不知多少倍。
保甲和團練是胡林翼為了維護社會治安用得十分順手的兩個法寶。他要求每個居民都負起捕盜之責，並賦予他們捕盜的權力。他為各村各寨製訂嚴格的條約，要求居民切實執行。
第一步，他命令各寨設立鄉長、團長、牌長，姓名全部注冊，收藏在知府衙署。一有事情發生，他便按冊點名召見，待之以禮，甚至設宴招飲，詳詢當地的治安狀況，借以觀察其人的態度。
第二步，胡林翼親自到基層蹲點。每次入寨，都會隨身帶著那本名冊，對基層幹部一一考察。
第三步，胡林翼懸賞購凶，翹首以待。凡有百姓抓捕了盜賊，送到知府衙門，他都給予高規格的接待，發給豐厚的獎金。隨到隨審，審明即賞，一分鍾都不耽擱。押送盜賊的百姓可以早至早歸，夕至夕歸，不在城中耽擱，不用花費。
胡林翼為了黎平的安定團結，貼進去幾千兩私房銀子，經濟虧損巨大。但他想到數百萬家之生靈得以安枕高臥，創下了黎平近二十年來未有的奇跡，心中十分快慰。
胡林翼所虧的不僅是銀子，還付出了艱辛的努力。他有時去村寨巡視，一頭紮下去，蹲點十來天，召集眾人訓話。回到衙署以後，先前交給文書代辦的事務，他都要親自檢查一遍。如此晝夜工作，一直未能休息。
他給左宗棠寫信說：我所管的地方雖然隻是小小的一府，文案工作還是壓頭，每天不停地批發文件，嘴裏不停地下達指令，還有什麼精力思考大政方針？必須上報的公文，我都交給幕友辦理。一個人能有多大的精力？如果文案過於疲勞，則已被小事和瑣事弄得精疲力竭，反而辦不成影響深遠的大事了。
左宗棠複信說，團練必須參用碉堡，才足以製伏劇寇。胡林翼虛心采納，立即照辦。
胡林翼按照自己的想法，紮紮實實工作了半年，紳士和百姓都樂意為他效勞。他在述職時有了一份很好的工作總結。他依靠群眾，抓獲三百多名盜匪，在一千五百多個寨子裏成立了鄉團，設立了四百五十多座卡柵。每卡都有四名到二十名民兵分班輪守。各地負責人遵照他的要求，按月巡視，互相監督。通過大家的努力，剪除了盜首黃浪子等人，使安分守己的良民見到了天日。
胡林翼在黎平這個動亂了二十年的地區建立了社會秩序，百姓大悅，婦女兒童得以安生，外來商旅也有了安全感。他每巡視一個村莊，便有成百上千的百姓跪在前後左右，大呼青天大老爺。
鹹豐二年（1852）二月，廣西的永寧、懷遠、融縣土匪蜂起，這些地方環繞著黎平轄境的西南。胡林翼聽說洪秀全從永安突圍，抵達昭平，挺進桂林，形成流動作戰的態勢。他立即報告布政使呂佺孫，請求在黎平招募精壯苗民一千名，由地方紳士指揮，加以訓練，選擇要隘築堡浚壕，嚴防太平軍。他又請求速籌軍費，令紳民捐資助餉，對捐款人破格獎勵。黎平府城過去沒有糧食儲備，胡林翼勸諭富民捐穀置倉，以備城守。