楚昭王也知道孔子的才幹，想重用孔子，準備等孔子到楚都後封他七百社（一社為二十五戶人家），這種待遇夠優厚了。可是楚國的一些大臣怕孔子奪了楚國的大權，妨礙他們的利益，便紛紛起來反對。其中楚王的庶兄子西（當時任令尹，即主管行政的長官）提醒楚王說：“我們楚國辦理外交的大臣沒有人趕得上子貢的，輔佐國君的賢才們沒有比得上顏回的，領兵的將帥沒有趕得上子路的，治理地方的官員也沒有人趕得上宰予。”子西無疑是說，孔子的弟子們都是有才幹的，如果讓孔子在楚國有了地盤，楚國就太危險了。
楚昭王聽了這話，便打消了重用孔子的念頭。
這年秋天，楚昭王病死了，子西掌握了楚國大權。在這種形勢下，孔子不能去楚國都城了，停留在楚國的邊界上，進退兩難。
一天，一個叫接輿的楚國人，瘋瘋癲癲地從孔子身邊走過，他邊走邊唱：
鳳鳥啊！鳳鳥啊！
你為什麼這樣狼狽？
過去的事情叫它過去吧，
未來的還能夠挽回。
算了吧，算了吧，
現在當權的有幾個好人！
孔子聽到這個歌，很想同唱歌的人談談自己的心事，可是那人已經遠去了。孔子獨自默思良久，意識到留在楚國不會有什麼好結果，相比之下，還是再回衛國為好。
（三）終不得誌
孔子一行自負函向北，一直朝著衛國的方向進發。
當行至一道河畔時，他們遇見了兩位並肩而耕的老者，其中一個長得很高大，叫長沮，另一個也算魁梧，叫桀溺。這時孔子替換子路駕車子，讓子路前去向他們詢問渡口。當子路開口問路時，長沮慢條斯理地反問子路：“那位駕車子的是誰呢？”子路說：“是孔丘。”又問：“是魯國的那個孔丘嗎？”答：“是的。”長沮輕蔑地一笑說：“那他應該知道渡口在哪兒。”桀溺又問子路：“你是誰？”答：“我是仲由。”桀溺接著問：“你是孔丘的門徒嗎？”答：“我是。”桀溺以教訓的口氣對子路說：“現在的世道亂哄哄的，哪裏不都是一樣？你與其跟著選這個、躲那個的人到處亂跑，不如跟著我們不問世事的人呢！”這兩位老者繼續幹自己的活，再也不說什麼了。
子路回來將這番話告訴了孔子，孔子停了一會兒才很失望地說：“有一種人，隻是在山林裏和鳥獸來往，這種人我是做不來的。像剛才這兩個人，我也樂意和他們在一起，我所以沒有和他們在一起，正是因為到處亂哄哄嗬。天下如果太平了，我還到處亂跑嗎？”
他們趕了幾天路，子路落在了後邊。這時子路遇見一位拄著拐杖、背著鋤草工具的老頭兒，便問道：“你看見我老師了嗎？”老頭兒說：“四體不勤，五穀不分，什麼老師不老師！”說完便去鋤草了。
子路追上孔子後，告訴了這件事。孔子說：“這可能是一個隱士。”他想和這位隱士深談一下，派子路去找時，那人已經不在了。
一路上遇到的譏諷或惋惜，不能不引起孔子的深思。當然他還是順著自己的路子走。不久便到了衛國。
這時衛國的國君仍然是衛出公，他已在位四年了。其父蒯聵仍在晉國，一時還無力回衛，衛國暫時處於一種穩定的狀態中。當時孔子的一些弟子在衛國做了官，衛出公也請孔子參加衛國的一些政治活動。
子路聽說衛出公要用孔子，便來向孔子發問：“這次衛國國君請你參與政事，你打算先幹些什麼呢？”孔子本來就對衛出公拒絕父親回去，破壞君臣、父子的名分頗為不滿，便借子路的發問答道：“必須正名分！要使每一個人的名義、身份和他的地位完全符合，使每一個事物的名稱和它的實際完全符合。”子路有些惱火了，不由得說了一句：“你真是個迂夫子呀！”