實際上，伍子胥的死是夫差在戰略謀劃上剛愎自用、一意孤行、不容異說，在用人上信讒疑忠的必然結果。作為兩朝元老，伍子胥功勳卓著，在吳國享有極高的威望。他的死，給吳國的臣吏們造成極大的震動，使得他們人人自危，眾口皆緘。這表明夫差已經完全蛻變為一位暴君，也意味著吳國的前途一片黑暗，不可能再出現轉機。
孫武清醒地看清了這一點。伍子胥的悲慘遭遇使他感到心寒意灰，夫差的行徑讓他感到絕望，他了解自己的處境，也明白吳國的前景，他不願重蹈摯友伍子胥的覆轍，更不願意替夫差這樣的昏庸之君殉葬。於是對他來說，便隻剩下了一種選擇，這就是見機而作，功成身退，飄然高隱，找一個清靜的地方，回顧總結這些年來自己的軍事實踐，對自己的兵法進行修改、補充、完善，以終餘年。
以孫武的智慧，作出這樣的選擇是完全符合情理的，也是可以理解的。“達則兼濟天下，窮則獨善其身”這是中國古代相當部分士人處世的基本態度，孫武也選擇了這條道路。不過，孫武的飄然高隱，畢竟標誌著他從此退出曆史舞台，他那曠世的軍事才華也就白白浪費了，未能給我們留下更多的精彩篇章，這不能不說是孫武個人的遺憾，也是我們民族的損失。
孫武歸隱後的去向，由於史無明載，已成為一個永遠難以索解之謎。一般人的推測是，他依舊留在吳國，隱居鄉間修訂其兵法著作，直至默默去世。死後也葬於吳都郊外。《越絕書·記吳地傳》載：“巫門外大塚，吳王客，齊孫武塚也，去縣十裏。善為兵法。”這似乎可以作為一個引證，然而這終究是一個推測罷了。孫武的歸宿或許可能是另外一種情況，即他因懷念桑梓故土而輾轉返回齊國隱居。從其後人孫臏“生於阿、鄄之間”等情況來看，這種可能性也不是不存在的。再有一種可能就是孫武也被吳王夫差所殺。《漢書·刑法誌》稱：“孫、吳、商、白之徒，皆身誅戮於前，而功滅亡於後。”顏師古注“誅戮”的人名雲：“孫武、孫臏、吳起、商鞅、白起也。”唐李筌《太白陰經·善師篇》也承其說，謂“孫、吳、韓、白之徒，皆身被刑戮，子孫不傳於嗣”。此說把孫武與吳起、商鞅、韓非、白起並列在一起，可知他晚年的景況不是很好。在伍子胥被殺以後，孫武可能因為他與伍子胥的關係非常密切而受到牽連。不過此說出自《漢書·刑法誌》，而《史記》等比它較早的史籍並無此記載，這個說法一般說來不足為信。在沒有確切的史料佐證的情況下，我們綜合判斷孫武最終是飄隱山林，無疾而終，當是更令人信服。
歸隱後的孫武有可能活到親眼見到吳國滅亡的這一天。
公元前482年夏，吳王夫差親自率領吳軍主力，一路北上2000餘裏，來到宋、衛、鄭、晉四國交界處的黃池（今河南封丘縣南）與周王室的單平公、晉定公、魯哀公等會盟。夫差意欲以軍隊為後盾在會盟中和晉國爭奪霸主的地位，所以隻留下少數軍隊由太子友統領駐守姑蘇城。
含辱忍垢十餘載的越王勾踐探知夫差傾巢出動，僅留老弱病殘與太子友留守都城，他認為自己出頭之日終於來臨了。遂盡起精銳之師，兵分兩路，一路由範蠡率領狙擊可能自黃池回援的吳軍主力，一路由自己統率越軍主力從陸路乘虛襲擊吳都姑蘇。戰鬥伊始，吳軍雖然擊退了越軍的先頭部隊，取得了初戰的勝利，但是畢竟因兵力處於絕對劣勢，且戰鬥力明顯不強，在隨後的戰鬥中，太子友雖傾盡全力抵抗，無奈人少力薄，無力回天，連戰皆負，一敗塗地，終被越軍攻破都城。越軍焚毀了姑蘇台，奪走了專供夫差乘坐遊玩的大船，取得了襲擊吳之戰的重大勝利：“吳師敗，遂殺吳太子”，“入其郛，焚其姑蘇，徙其大舟。”（《國語·吳語》）
越軍攻破吳都的消息傳到黃池，夫差十分恐懼，為防止消息泄露，他一連殺了七個趕來報信的人，因為此時夫差和晉定公爭奪霸主地位已到了關鍵時刻。夫差認為吳應當在會盟中首先歃血，充當盟主，理由是“於周室，我為長”（《左傳·哀公十三年》），晉人則表示“於姬姓，我為伯”（同上），雙方一時僵持不下。闔閭為了滿足他那多年來問鼎霸主寶座的美夢，在後院失火的情勢下，如同民謠所說“死鴨子——嘴硬”，將其軍隊排成紅、白、黑三個方陣在晉定公麵前炫示武力，晉定公不知真假，遂不再與其爭強，勉強承認其“伯長”的地位。夫差撈得這個虛名之後，趕緊率軍隊回奔吳國，幾個月後，才於冬天回到了吳都。這時，都城失陷，太子戰死的消息已無法保密，軍心因此渙散，將士皆無鬥誌，加上長期遠征，往返奔波，吳軍已經人馬困乏，疲憊不堪，夫差見軍士無心戀戰，遂遣人與勾踐講和，勾踐和他的大臣們也認為消滅吳國的時機還不成熟，也就同意了夫差的請和。但是經此一戰，吳國的國力大減，吳越戰爭勝利的天平開始向越國這邊傾斜了。