在許霆案中，公眾輿論對案件初審時許霆被處無期徒刑的不滿與對被告人的同情實際上建立在這樣一個判斷之上：如果這個判決是嚴格依照刑法的規定作出，法官對許霆罪行的裁量是按照對刑法相關條款的正確解釋後得出的，那一定是這刑法本身或對刑法的解釋其合理性出了問題。問題出在哪裏呢？在眾意憐憫的指引下，我們發現據以為許霆定罪量刑的法律及其解釋均有違刑法應有的謙抑性。按照張明楷的看法，刑法的謙抑性有兩層意思，一是刑法應依據一定的規則控製處罰範圍與處罰程度，即凡是適用其他法律足以抑製某種違法行為、足以保護合法權益時，就不要將其規定為犯罪；凡是適用較輕的製裁方法足以抑製某種犯罪行為，足以保護合法權益時，就不要使用較重的製裁方法。由此可見，刑法的謙抑性原理，不僅僅是立法時應該遵循，也應在司法中貫徹其主旨。
（一）對許霆類行為課以刑罰必要性的探討
陳興良認為，運用刑法手段解決社會衝突，應當具備兩個條件：其一，危害行為必須具備相當嚴重程度的社會危害性。其二，作為對危害行為的反應，刑罰應當無可避免性。一般來說，具有下列三種情況，就說明不具備刑罰之無可避免性：一是無效果，就是對某一危害行為來說，既使規定為犯罪，並且處以刑罰，也不能達到預防與抗製之效果。二是可代替，就是指對於某一危害行為來說，即使不運用刑罰手段，如道德教育、民事或者行政製裁，也足以預防或抗製這一危害行為。三是太昂貴。所謂太昂貴，是指通過刑罰所得到的效益小於其所產生的消極作用。
具體到許霆案，由於ATM機出現程序故障是一個極其偶然的事件，許霆在本案中實施並得以成功的這種行為本身就是不可複製、不可模仿的，其幾率太低，所以在社會上也不存在其他犯罪可能帶來的示範效應。麵對突如其來的誘惑，來自道德層麵上的意誌薄弱和貪利心理使其難以自持取走巨款。從特殊預防的角度講，通過處以終身監禁的方式使被告人與社會隔離，以防止被告人再犯同樣“罪行”完全是在浪費刑法資源，因為這樣的犯罪機會就像彩票中大獎，就算讓許霆放在社會上整天在ATM機上取款，也很難再遇第二回。從一般預防的角度看，要防止其他的社會成員惡意取款，更好的辦法或許是銀行加強對ATM機的管理與維護，而不是懲罰ATM機喚起的貪心。因此，對許霆的懲罰很難說有效果。其二，許霆的行為與其他惡意透支行為相比，差別可能僅在於其主觀上對銀行能否發現和知曉其取款行為，其以實名開戶、取款過程銀行全程監控，故其行為和惡意透支在客觀上並無質的差別。對這種行為，令其承擔民事責任來彌補銀行的損失並無不可。事實上，許霆很早就提出過全部還款的意見，但銀行堅持要報案追究其刑事責任，許霆出於懼怕才不肯歸案。因此，說對許霆不課以刑罰而且是重刑難以救濟其被侵害的權益，很難令人信服。其三，對許霆的懲處並未彰顯刑法的公正，來自公眾的負麵評價使對許霆的懲罰的效益不佳。綜上所述，很難肯定對許霆的重判具備了刑罰的不可避免性。
（二）據以為許霆定罪量刑的司法解釋存在的問題
許霆是依照刑法第二百六十四條的規定被初審處以無期徒刑的。根據該條規定，盜竊金融機構數額特別巨大的，處無期徒刑或死刑。
因而，初審法院似乎可以說，沒判處許霆死刑，已經體現了對其處罰的寬緩了。果然如此嗎？
許霆不但被認為是盜竊，而且數額特別巨大。最高人民法院關於審理盜竊案件具體應用法律若幹問題的解釋於1997年11月4日頒布時，規定個人盜竊公私財物價值人民幣三萬元至十萬元以上的，為“數額特別巨大”。但1997年全國職工平均工資標準為6470元，2006年則為21001元，相差3倍多。時移世易，然而盜竊量刑標準卻沒有根據國民經濟、人均收入的提高相應調整，所以判決結果相較十年前顯得越來越重，以至於17萬元可以被認為數額特別巨大，既偏離了社會的共識，又違背了刑法中罪與刑相適應、相均衡的基本原則。
許霆不但被認為是盜竊，而且是盜竊金融機構。按說，刑法第264條一、二項將盜竊金融機構和盜竊珍貴文物並列，其實存在著一個小小的語法錯誤，金融機構焉能被竊走。於是在關於盜竊案件的司法解釋中，將“盜竊金融機構”限定為盜竊金融機構的經營資金、有價證券和客戶的資金等，如儲戶的存款、債券、其他款物，企業的結算資金、股票，不包括盜竊金融機構的辦公用品、交通工具等財物的行為。於是，自動櫃員機ATM便被認定為金融機構。但在這裏，刑法第264條擬定時所設想的金融機構應該是戒備森嚴、防衛縝密的一個所在，敢於向這樣的地方下手的竊賊一定是處心積慮、惡性極大的大盜，因此不能不嚴加懲處。因為極其偶然ATM機故障，機器按正常的指令主動將現金拱手送與竊賊的，恐怕是當時的立法者始料未及的，而這卻是決定許霆命運的法官應當思考的。