俠有的也是士人，但他們與普通的士人不同，靠自己的努力，充分實現自己，當然不能說毫無個人的考慮，畢竟還是傳統對他們起的作用為多。這樣，還不習慣大一統的士人，特別是那些受到傷害的司馬遷之類的士人，對遊俠是充滿了敬意和企慕的。蟄伏民間的士人、豪強等都希望俠能有更大聲望，領袖群倫，這在社會上形成了一種心理期待，司馬遷的《遊俠列傳》對遊俠熱情讚美歌頌正反映了這種心理期待。
正統人士如班固等不僅對遊俠是持批評和否定態度的，而且對司馬遷關於遊俠的觀點是“退處士而進奸雄”“賤守節而貴俗功”，其理由就是遊俠破壞秩序，這是大惡，怎麼能僅據其一點小善而讚美他們呢？如果秩序是像他們想象的“百官有司奉法承令，以修所職，失職有誅，侵官有罰。夫然，故上下相順，而庶事理焉”那樣井井有條，社會矛盾大多能得到合理的解決，人們也許能夠安於既定的秩序，平安地度日。可是現實不是那樣，生活在備受古今人讚美漢武帝時期的司馬遷也不感到幸福。所以他感慨自己是“況以中材而涉亂世之末流乎？其遇害何可勝道哉”。因此，那些拯人危難，不居功，不望報的遊俠自然就受到人們的尊敬和愛戴。這是統治者最感恐懼和憤怒的。
四、遵守秩序就是一切——俠風泯滅
漢武帝是個雄才大略的皇帝，他對外開疆拓土，對內加強皇帝專權，當然不能容忍遊俠這一類民間領袖存在。他對遊俠毫不手軟，嚴厲打擊。在意識形態上，漢武帝實施“罷黜百家，獨尊儒術”的政策，既不搞法家極端主義，也不像漢初的“無為而治”，休養生息。士人追捧遊俠的風氣漸漸平息，皇權專製製度日漸完善，武帝以後，平民遊俠幹預公共事務的情狀基本消失。士大夫終於弄明白，在“權出一孔”時，榮辱升沉，皆是皇權之賜。因此大多進入犬儒狀態，最多也就是發點牢騷而已。連牢騷滿腹的揚雄也攻擊遊俠是：“竊國靈也（國家權柄”。《法言》）因為揚雄雖不得誌，但畢竟還是在朝堂啊。
東漢初，當班固寫《漢書.遊俠傳》已經完全沒有了司馬遷謳歌遊俠的興味。在他看來遊俠人品再高也是破壞社會秩序，就衝這一點就該討伐。因此他不僅批評《遊俠列傳》所寫的遊俠，而且批評司馬遷背離大道，宣揚、歌頌遊俠。不過班固在郭解之後還是補寫了一些“俠”，然而這時的俠與漢初朱家、劇孟、郭解迥然不同了。他們都做過吏或官，有的還被封侯。他們有點權了，但拯人危難不見了，抗上與反主流不見了，平和謙卑不見了。隻有一點還類似原來的遊俠，那就是長於交際，有人追隨，仿佛遊俠隻有這一個特征了。隻有這一點還能把他們從謹小慎微的官僚群中識別出來。
《漢書.遊俠傳》前部分照抄《史記.遊俠列傳》，後一部分又增加了萬章、樓護、陳遵、原涉四人。這四位俠都生活在漢武帝打壓遊俠之後，充分展示西漢中後期俠者特點。如萬章本是京兆尹（首都長安市長）下管門房的，可是他隨從京兆尹上朝時“侍中諸侯貴人爭欲揖章，莫與京兆尹言者”。朝中貴人看重萬章忽略了他的主人，可見萬章在長安交遊的廣泛及聲望之高。後來“王尊為京兆尹，捕擊豪俠”，殺了萬章。樓護出身醫者之門，與父親以醫術遊長安，因能說會道，受貴人喜愛，改行學經傳，“為京兆吏數年，甚得名譽”。樓護是個八麵玲瓏的人，這與司馬遷筆下的性格堅韌、口齒木訥的遊俠根本不同。王莽家五人封侯，互爭名望高低，長安賓客填滿了五侯之門，但他們各有厚薄，唯有樓護能言善辯，誰也不得罪，五家通吃（這多麼像韋小寶幾乎得到王家五侯一致喜愛。樓護母親去世時，送葬的貴人專車就有兩三千輛之多。“以至街坊鄰居編了歌樓君卿出喪，五侯貴人來幫忙。”可見其派頭。說好聽點，這是鄉願；難聽點，就是戲子。樓護唯一讓後世津津樂道的就是一道名肴一一五侯鯖。這是他的創造。樓護並非名廚，他發明這道菜也是沾了五侯的光。他與五家都有交情，五侯常給他送些本家獨創的肴饌，樓護把它們合在一起，味道變得更美，驚倒世人，人們稱為五侯鯖。
王莽專政時，其子王宇與其妻兄呂寬要勸諫王莽不要太過，在家門上塗血，後來被王莽發現，怒極，殺其子，呂寬逃走。樓護此時為廣漢太守。因為與呂寬父親是朋友，呂寬逃到他那裏避難，樓護把他逮捕交給王莽，莽很高興，封樓護為“封息鄉侯，列於九卿”。這還是俠嗎？樓護一生是一帆風順的。
陳遵是中國詩史上的名人，他的兩件事經常被用來做典故，“一是好酒，酒肉相屬，晝夜呼號；二是好客每大飲，賓客滿堂，輒關門，取客車轄投井中”。弄得有急事的客人狼狽不堪。其一生並沒有扶危救困的行為，他與俠類似的地方就是好客，而且逮住客人就不讓走，車騎滿門。
原涉處在漢末亂世，皇權專製衰微。他不像陳遵，隻是讓客人陪他喝酒，他的賓客往往是他報仇殺人的打手，原涉睚眥必報，殺人很多。此時王莽已經窮途末路，沒有能力打壓他了。不過最終原涉還是被更始帝部下申屠建送上了刑場。
班固筆下的這些俠者多是精於牟取利益之輩，在太史公看來無非就是“朋黨宗強比周，設財役貧，豪暴侵淩孤弱，恣欲自快”，讓真正的遊俠感到醜陋的人。把這些人與朱家、劇孟、郭解等量齊觀，正是司馬遷所悲哀的：“餘悲世俗不察其意，而猥以朱家、郭解等令與暴豪之徒同類而共笑之也。”這倒不是班固之“不察”，因為在班固看來，他處在“故上下相順，而庶事理焉”的時期，強調秩序是十分必要的，俠與秩序為敵，自然是罪不容誅的。