由於伍員在攻楚作戰中，帶有強烈的個人複仇願望，所以在占領楚都後竟放縱吳軍大肆擄掠人民，淩辱貴族家屬，伍員自己竟然還鞭平王之屍，這都激起楚國上下的憤怒及反對。同時，當吳軍主力在楚國肆無忌憚之時，越軍乘吳國空虛，發兵攻吳；秦國也出兵助楚，與楚軍聯合抵製在楚吳軍，並數次取勝；闔廬之弟夫概又乘機返國自立為王。闔廬被迫於吳王闔廬十年（前505）九月，下令撤軍。
吳軍撤退後，楚國雖得到了恢複的機會，但因戰爭中國力損失慘重，暫時無力對吳國造成重大威脅。製服西方的強敵之後，處於吳國東方近鄰的越國興盛了起來。根據孫武當初為吳國製定的爭霸方針“西破強楚，北威齊晉，南服越人”，越國便成為了吳國新的攻擊目標。吳王闔廬十九年（前496），越王允常病逝，其子勾踐繼位。闔廬、伍員等認為越國新君剛立，政局未穩，便發兵攻越，雙方在槁李（浙江嘉興西南）交戰，結果吳軍失敗，闔廬且身負重傷而歸，然而最終竟因此不治而亡。其子夫差，在伍員的擁戴下繼位為王。夫差為報父仇，命伍員積極戰備，企圖消滅越國。正當吳軍準備完畢，即將進軍攻越時，越王勾踐竟先發製人，於吳王夫差二年（前494），發兵攻吳，雙方水軍大戰於夫椒（江蘇吳縣太湖中之西山）附近水上。越軍大敗，退回本國。吳軍乘勝追擊，攻陷了越都會稽（浙江紹興）。勾踐率5000人逃至會稽山（紹興東南），派大夫文種買通了吳國太宰伯嚭，並獻厚禮向吳求和。夫差認為越已衰微，不足成為威脅，遂準備答應與越國講和。伍員認為不可，但由於伯嚭受賄為勾踐說情，夫差終於同意越國求和之舉而下令撤軍。伍員對此極為悲憤，他哀歎說：“越十年生聚，而十年教訓，二十年之後，吳其為沼乎！”
吳王夫差十一年（前485），夫差聞齊景公死而國內政局不穩，準備舉兵攻齊，伍員極力反對，但夫差仍派大夫徐承率水軍渡海攻齊，結果因出師不利而退軍。夫差準備親率主力北進。伍員再度勸阻夫差不聽，執意北進。吳王夫差十二年（前484），吳軍大敗齊軍於艾陵（山東萊蕪東北），夫差這下更加驕傲自負，也越發疏遠與冷落伍員，並在準備再次大舉攻齊前，派伍員為使臣去齊。伍員認為近期內越國必然會攻打吳國，為避禍他將兒子一同帶去了齊國，並將兒子留於齊國鮑氏家。伯嚭乘機誣陷伍員裏通外國，夫差大怒，賜劍伍員自殺。伍員被迫含恨而死。死後不久，越王勾踐果然出軍攻吳，由於吳軍數次北進攻齊，國力損耗極大，戰敗被圍姑蘇山，夫差像當年勾踐請求自己一樣請求與越國講和，然而勾踐不允，隻得自殺。臨死前說：“吾悔不用子胥之言，自令陷此。”