胡林翼身在貴州，外省的大員們卻都想將他挖去，特別是太平軍攻陷金陵以後，長江流域急需人才，張亮基和駱秉章聯合上疏，請將胡林翼調到湖北。鹹豐考慮到胡林翼熟悉貴州事務，調到湖北可能人地未宜，未予批準。
胡林翼在貴州待久了，對於民俗利病、政治得失，都能看透，引為深憂。他時常向上司做書麵報告。自從離開黎平之後，他就跟巡撫約定，不願再去其他地方任父母官。此時巡撫打算任命他代理貴東道，讓他總抓貴州東部的軍政事務。胡林翼卻認為，如果專心緝盜，還可以為貴州的百姓消弭患害，如果要對一方行政負責，反而牽製更多，便上書力辭。
不過，胡林翼對黔東軍政要務發表了一番高見。他認為，貴州東部的情況岌岌可危，有十幾件大事必須提上議事日程。
首先，胡林翼最擔心的是民生疾苦。苗民居住在各地的寨子裏，大寨有一二百戶人家，小寨也有三五十戶人家，連年遭到搶劫，積蓄一空。良民怕盜，又怕官差，若是為盜，則無所畏懼，這種形勢就是逼良為盜。良民終日采芒為食，四季都吃不到一口米飯。耕種所入，在青黃不接之時，借穀一石，一月內就要償還二到三石，稱為“斷頭穀”。借錢也是一樣，受到高利貸盤剝。甚至隻借一碗酒、一塊肉，如果拖久了不還，就要變賣田產，償還幾十上百兩銀子。苗民心頭銜怨，口不敢言。愛動腦子的人則要發泄怨恨，引來群盜，為自己報仇雪恨。而漢人當中的奸民還不覺悟，錢財被強盜搶走了，便來盤剝苗民，以彌補損失。苗民的產業全被奸民盤剝，而官府的攤派仍然要苗民負擔。在秋風勁掃、冬雪摧殘之際，窮苦的苗民甚至不得不自掘祖墳，獲取銀飾。蒿目痛心，莫此為甚。
民生如此困苦，官府卻無力救濟。各地官府並無餘糧，專靠攤派用於公費開支，或者中飽私囊。近年來民力日衰，官事日多，如果按章收稅，官府將難以維持，各種攤派怎能加以禁止？但是如果完全免除苗民的攤派，他們便會脫身化外，不知有官府的存在了。所以攤派很難禁止，而放縱下去，則苗民窮愁怨歎，水深火熱。能不能變革攤派辦法，隻對漢民地主征稅呢？官府所派的公差和實物稅收，已經成為約定俗成的慣例，並非正式的稅收，苗寨本不納稅，漢民豈肯交納？各方爭論不已，卻都朝苗民下手。官府從苗民那裏隻得到了十分之三，土司、通事、差役從苗民那裏卻獲得了十分之七，吸良民之膏血，以供其享樂揮霍。台拱、丹江、古州、八寨、清平，其弊尤甚。
其次，胡林翼擔心軍隊的破敗。貴州東部的幾萬官兵已經成為廢器。一個上千人的營盤，十名盜匪就能攻破。隻要是有些血氣的人，看了莫不痛心。駐防軍有九千多名，分布在各堡，本來極為周密，然而形同擺設，對治安毫無實效，幾十年的積弊無法一旦廓清。現在那些駐防官兵多半是一些刁滑之徒，一旦繩之以法，則捏造黑白，煽動苗民造反，釀成大禍。
第三，胡林翼擔心官員辦事敷衍。如今為了保證邊界的安定團結，必須日日練兵。貴州東部幅員廣闊，必須挑練八百精兵，分防分捕，且戰且守，才足以緝拿奸宄，把動亂遏止在萌芽之中。但是每年的費用從哪裏開支？如果軍餉不繼，部隊立刻疲軟，不攻自亂。保甲團練確實是維護治安的好辦法，但臨時派人負責，為時短暫，恐怕難以得到民眾的信任；外地人來負責，又很難深入當地百姓；所以隻有知縣才能辦好。但是各地知縣接到命令，隻是應付上級，很少落到實處。上級講得焦口爛舌，各地真正做到的隻是貼幾張告示，寫幾份報告。