郭解離開軹縣遷往茂陵時，司馬遷一家也屬於徙陵令規定要遷的富戶，也由夏陽縣高門裏遷往茂陵，當時交通不便，路上要走很久，時在元朔二年，當時司馬遷十九歲。行行重行行，司馬遷得以在遷徙途中遇到郭解，之後又常在茂陵鬧市中遇見郭解，在司馬遷的想象中，郭解是一個相貌非凡、無比魁偉高大的巨人，可他見到的郭解竟長相一般，言語和行動也很平常，於是，他得到一點認識，名人之所以出名，並非他們的才幹超出普通人，而是各種機遇和環境造成的。軹縣的特殊環境造就了郭解，離開了軹縣，郭解就和常人無異，再沒有好運道了。
郭解果真從此厄運纏身，最後落到本人被誅、全族被滅的可悲下場。自古聲名是人的拖累，郭解的名氣造成了他最大的不幸。
郭解離開軹縣後，軹縣風波未息，那個把郭解寫進遷徙名單的縣衙文書隨即被人殺死，文書之父楊季主乃當地紳士，要求縣衙追捕凶手，不但凶手無蹤影，連楊季主本人也被殺。楊季主的家人知道軹縣為黑手黨控製，到京城皇宮前喊冤，黑手伸到皇宮，喊冤者被殺於皇宮前。
在皇宮前殺人，此事當然驚動武帝。黑手黨如此猖獗，官府如此軟弱無力，連皇帝也急了。武帝下令全國，一定將黑手黨首領郭解緝捕歸案。但郭解已經逃亡，他將家小安頓在夏陽，獨自一人離開茂陵向臨晉關（今山西、陝西兩省交界處）逃去，一路上，都有人給他提供方便，但臨晉關防備森嚴，他很難過去。臨晉關有一個大戶人家，家主名籍少公，郭解和籍少公素昧平生，但他貿然上門求助，籍少公見英雄落難，很講義氣，派人掩護他出關，一直護送他到今山西太原。官府的追捕人員尾隨而至，向籍少公逼問郭解的去向，籍少公立即自殺，官府追蹤人員的線索斷了，郭解潛藏在今山西省內，安全無事。
漢武帝在元朔三年（公元前126年）春發布了大赦令，郭解認定可以平安無事了，又回到茂陵，因他是重大的特殊犯人，官府仍將他抓獲歸案，但他的案子令審判人員大傷腦筋，他們無法判他死刑，首先，他多年來沒有親自殺人，各種和他有關的人命案都是一些不知姓名的人幹的，拷問他也無法弄清凶手是誰。況且這些命案都發生在大赦令頒發以前，應一律赦免。
直到發生了一樁新的命案，當局才有懲治郭解的法律依據。此案仍發生在郭解的故鄉軹縣，京都派專使到軹縣調查郭解的犯罪事實，軹縣衙門設下宴席招待朝廷欽差，並請該縣名流入席作陪，席上的當地耆宿都替郭解說好話，惟獨有一個儒生敢於吐露真情：“郭解這個人是本地的大害，他和黑勢力一起為非作歹，根本不是一個賢德的好人。”真不幸，這個儒生離開縣衙不久，就被暗殺，而且被割舌，查不到犯案者的下落。
丞相公孫弘就根據這個案子，判處郭解死刑，因為該命案雖不是郭解本人所為，但是他的影響造成的，說明郭解在地方上的影響已經達到了官府無法控製的程度，不殺郭解，官府無法治理地方。丞相將案情和判決奏明皇帝，武帝不但批準處郭解死刑，而且下令誅滅了他的家族。
這是一個黑老大最後伏法的故事，但司馬遷將其寫入《遊俠列傳》，說明在他的心目中郭解不是單純的惡徒，而是個十分矛盾的人物，集大惡和大善於一身：郭解一生殺了很多人，在他影響下，他的“粉絲”也動不動就殺人，割掉人的舌頭，好像今天的黑手黨一般，因此在他身上集有大惡；郭解言必信，行必果，排難解紛不受人之報，侄兒仗勢欺人被人殺了，卻寬恕了仇家，這些品德，又可以說是集有大善。因此當時的民眾對他的評價很不一致。