“刀筆吏”最早出現於春秋戰國時期。古人是用簡牘寫字的，出現錯誤時，便以刀削之，所以古時的讀書人為了隨時修改錯誤，便常常隨身帶著刀和筆。因刀筆一起使用，所以古時那些做文字工作的文職官員常被稱為“刀筆吏”。現在，“刀筆吏”也常被用來形容行文言辭犀利，言語如刀。
《清稗類鈔·獄訟類》中有幾篇關於刀筆吏的記載，從中我們可以窺見其刀筆之鋒芒。書中有這樣一個故事：蘇州有位訟師叫陳社甫，非常善寫狀子。李某是他的同鄉，曾經把錢借給一個寡婦，然而寡婦過了很久之後還是不還錢，李某就在言語上羞辱了她一番。寡婦羞愧難當，竟然想不開，趁著一個下雨的晚上在李家門口上吊自殺。在聽了李某的敘述後，陳社甫向他索要了二百兩銀子，並讓李某給寡婦換上一雙幹淨的鞋子，然後寫了一張狀紙，其中有這麼一句：“八尺門高，一女焉能獨縊；三更雨甚，雙足何以無泥？”意思是說，一個柔弱女子，怎麼一個人能在那麼高的地方自盡呢？更何況，下著大雨的夜裏，為什麼這個女子的鞋上沒有泥巴？當地官員看後，覺得非常有道理，隻是判李某買副棺材了事。
可見，刀筆吏的過人之處不僅在於犀利的文筆，還在於分析事情時有過人之處。在古時相互傾軋的官場，“刀筆吏”的作用更是發揮得淋漓盡致。雖然也有一些刀筆吏不僅精通律例，而且堅守自己的道德底線，但是也有不少刀筆吏為了謀求勝訴及一字千金的效果，不惜顛倒黑白，甚至教唆當事人弄虛作假、偽造證據。所以，在古代，“刀筆吏”的名聲並不好。