胥吏自古有之，早在西周時就有關於胥吏的記載，後世胥吏都以造字的倉頡為祖師爺，到明清時，祖師爺又換成了“漢初三傑”中的蕭何。作為統治階級的一部分，早年的胥吏風評沒有這麼壞，從宋代開始，胥吏才逐漸演變成“奸詐”的代名詞，這和當時的官吏製度有著很大關係。
宋代重文輕武，文官集團勢大，為了防止文官在地方做大，朝廷規定官員任期最多兩三年，任滿後不得連任。新到官員由於不熟悉地方衙門的刑名、稅賦、錢穀等政務，隻能依賴前任留下來的胥吏，還沒等他摸清當地情況，一紙調令頒下，又奔赴下一個州縣。而當地的胥吏一做就是數十年，甚至還可以世襲，在地方上的人脈和威望非同小可。“鐵打的胥吏流水的官”，胥吏利用盤根錯節的關係和欺上瞞下的手段，常常架空官員成為當地真正的主事人，造成“吏強官弱”的現象。
同時，宋朝重視商業，又規定官不從商、商不從官。一些商人沒辦法與官員打交道，便將目光落在胥吏的身上，地方豪強與胥吏勾結，組成更大的利益集團，使胥吏的根基更加穩固。
《水滸傳》中，很多好漢都做過胥吏，也都有濫用職權、作奸犯科的黑曆史。比如宋江，利用職權便利拖延緝捕使臣何濤見知縣，搶先為晁蓋通風報信；比如朱仝、雷橫，先後放走宋江、晁蓋兩名通緝犯，朱仝後來又放跑了殺人的雷橫；比如明目張膽要常例錢、濫用私刑的戴宗；比如兩頭拿好處的大名府押獄蔡福；比如糾集團夥劫取生辰綱的保正晁蓋……凡此種種，胥吏將手中職權幾乎用到了極致，卻大都是滿足人情私欲。
宋江身為押司，隻是經辦案牘、獄訟、文書的九品小吏，卻能博得“刀筆精通、吏道純熟”的名聲，可見他顛倒黑白的手段已經爐火純青。
古人書寫都用毛筆寫在竹簡上，若有謬誤便用利刃刮去墨跡，因此“刀筆”是個中性詞，但用在胥吏身上，便與篡改、歪曲、矯飾脫不開幹係了，宋江就是做這個工作的。那麼，做一個“刀筆精通”的押司，能左右何事，又會有哪些灰色收入呢？
林衝被高俅陷害後，開封府孔目孫定一句話，便將“手執利刃，故入節堂”改成了“腰懸利刃，誤入節堂”，死罪也就成了“脊杖二十，刺配遠惡軍州”；楊誌殺死牛二，在開封府推司的幫助下，“把款狀都改得輕了。三推六問，卻招做一時鬥毆殺傷，誤傷人命”；武鬆被張都監陷害偷盜，投入死囚牢，孟州的葉孔目卻“已知武鬆是個好漢，亦自有心周全他，已把那文案做得活著”。這裏的孔目、推司都是胥吏，判詞中改上幾個字便可活人性命，若是反過來，殺人當然也不是難事。《水滸傳》中並沒有展示宋江的業務能力，但可想而知，他和推司、孔目做的事大致相仿，有一言決人生死的能力，因此宋江是不可能缺錢的。
有錢人分很多種，有人一毛不拔，有人豪爽闊氣，有人視錢如命，有人隻把金錢當成工具。宋江就是最後一種，他認為世界上有比錢更重要的東西，那就是名聲。用俗不可耐的阿堵物能換來好名聲，簡直是一本萬利之事。
胥吏這個身份給宋江帶來了很多好處，使他在當地有地位、有很多隱性收入，這是求之不得的美差。但宋江對胥吏這份工作並不滿意，因為胥吏的名聲太差了，這恰好和宋江追求的好名聲相悖。
徽宗年間的權力尋租十分恐怖，胥吏夾在官員和百姓之間，上嫌下惡，名聲是極差的。閻婆惜和宋江吵架時，一句話道出胥吏本質，“常言道：公人見錢，如蠅子見血。他使人送金子與你，你豈有推了轉去的？這話卻似放屁！做公人的，哪個貓兒不吃腥？閻羅王麵前須沒放回的鬼，你待瞞誰？”可想而知，宋江聽到這番話時，他本來就黑的臉色怕是已經賽過鍋底了。
胥吏眼中，人情利益比什麼國家法度都重要得多，要想在這個圈子裏混，誰都做不到“舉世皆濁我獨清”，要麼同流合汙，要麼被排擠出去。宋江胸懷大誌，他需要擺脫胥吏這個身份帶來的惡劣影響，於是，在他的苦心經營下，他的綽號越來越多，名聲越來越響，江湖地位也越來越高。
《水滸傳》中，宋江常常自稱“小吏”，卻無人敢以“小吏”呼他，等到“江州劫法場”一事後，連“宋押司”這稱呼都銷聲匿跡了，取而代之的是“公明哥哥”“宋頭領”。無疑，宋江的經營是十分成功的。