然而形勢並未因顏回的到來而好轉。無論孔丘怎麼解釋，匡人就是不相信他不是陽虎，但也沒有任何證據可以確認他就是陽虎。學生們都感到很害怕，生怕匡人不理智，做出什麼出格的事來。孔丘卻很淡定，安慰學生說：“自從周文王死後，周禮不就掌握在我手裏嗎？如果上天打算毀滅周禮，我這個後人便不應該掌握它。既然上天不想毀滅周禮，匡人又能把我怎麼樣！”
顏回聽了，長長地鬆了一口氣，臉色頓時變得輕鬆。其他人卻似懂非懂。這就好比一個人帶著珠寶被強盜綁架了，卻自我安慰說：“別怕，如果上天要我死，就不會讓這些珠寶落在我手裏了！”孔夫子的邏輯，委實不是一般人能夠理解的。
後來匡人果然把孔丘他們放了，不是因為孔丘知道周禮，而是因為他派幾個學生回到帝丘去找了大夫寧俞。寧俞派人出麵澄清，才得以真相大白。順便說一下，寧俞是個有名的聰明角色，《論語》裏，孔丘曾這樣評價他：“邦有道則智，邦無道則愚。其智可及也，其愚不可及也。”國家政治清明的時候，寧俞就聰明；國家混亂腐敗的時候，寧俞就裝瘋賣傻。孔丘認為自己能夠做到像寧俞那樣聰明，卻不能夠做到像寧俞那樣裝瘋賣傻。後人將“愚不可及”作為一句成語，形容愚蠢到了極限，其實它的本意是：更高層次的聰明，是難以企及的。
經此劫難後，孔丘師徒又返回了帝丘，住在蘧（qú）伯玉家裏。衛靈公的夫人南子聽說孔丘身長九尺玉樹臨風，又學識淵博無所不知，不免動了凡心，便跟衛靈公提出要見孔丘。
前麵說過，南子是個極其風騷的女人，而衛靈公是個不怕戴綠帽子的男人，甚至曾經派人到宋國接南子的情人前來相會。現在南子要見孔丘，衛靈公怎麼會不答應呢？他馬上派人對孔丘說：“四方來的君子，如果看得起寡人，將寡人視為兄弟的，寡人都會讓他見見夫人。”
孔丘心裏犯了一個嘀咕，見衛靈公便也罷了，見他老婆，這都啥事啊？推脫道：“孔丘不敢。”
使者說：“什麼敢不敢，實話告訴您，就是南子夫人親自提出要見您，別不識抬舉。”
孔丘跟著使者來到後宮，進門之後，麵朝北行稽首之禮。南子從帷帳中行拜禮兩次，身上的佩玉叮當作響——這就是關於這次會見的全部記載，至於是否發生了其他事情，任由讀者發揮想象。
回來之後，學生們都圍著孔丘問這問那。孔丘麵色潮紅，隻是說：“我原本不想見她，既然見了便以禮相答。”仲由很不高興，認為老師不老實，沒有如實交代全部情況，孔丘急了，對天起誓說：“我如果不是所說的那樣，就讓上天厭棄我！”
這樣在帝丘住了一個多月，有一天衛靈公邀請孔丘出遊，孔丘去了。衛靈公和南子同乘一輛車，宦官雍渠為車右護衛，讓孔丘乘第二輛車，招搖過市。南子還不時回過頭來，朝著孔丘嫵媚一笑。滿街的百姓都指指點點，搞得孔丘麵紅耳赤，於是說了一句很有名的話：“吾未見好德如好色者也。”
經過這件事後，孔丘下定決心離開衛國，帶著弟子來到曹國，又從曹國出發前往宋國。
宋國司馬桓魋（tuí）恃寵驕橫，聽說孔丘來到了宋國，怕他為宋景公所用，派人跟蹤孔丘。見到孔丘和學生坐在一棵樹下講學，桓魋的人便砍倒那棵樹。學生們一看來者不善，心裏已經猜著了七八分，對孔丘說：“咱們還是快走吧。”孔丘不以為然地說：“上天讓德行降臨在我身上，桓魋又能把我怎麼樣呢？”這一年，孔丘五十九歲，按他自己的說法，早就過了知天命的年齡，因此對於種種困苦，他總是安之若素，表現得極為淡定。
話雖如此，宋國是呆不下去了，孔丘隻好又來到鄭國。在新鄭城外，孔丘和學生們走丟了，一個人又冷又餓，身上又沒錢，隻能倚著東門外的城牆發呆。學生們四處找他，有個鄭國人對端木賜說：“我在東門看見有個人，他的額頭像唐堯，他的脖子像皋陶，他的肩膀像我們鄭國的子產，自腰以下比夏禹差三寸，長得倒是一表人才，隻不過虛弱疲憊的樣子，就好像一條喪家之犬。”端木賜一聽，連忙讓他帶著去找，果然找到了孔丘。端木賜將那人的話一字不漏地告訴孔丘，孔丘欣然笑道：“他形容我的長相，未必準確，但是說我像條喪家之犬，還真是很形象啊！”
孔丘終於來到了陳國，寄居在公孫貞子（也就是後來出訪吳國時死去的那位）家裏。在陳國，孔丘再一次展現了他淵博的知識。
有一天，一隻隼落在陳閔公的庭院中死去，身上插著一支奇怪的箭，箭杆是楛（kuˉ）木做的，箭鏃是石製的，箭長一尺八寸。誰都不認識這新石器時代的武器，陳閔公早聞孔丘大名，於是將他請去辨認。
孔丘看了之後說：“隼飛來的地方很遠啊，這是肅慎部落的箭。從前周武王攻滅商朝，打通四方道路，讓蠻夷部落各自進貢那裏的地方特產。肅慎部落進貢了這種箭。先王為了昭彰美德，把肅慎進貢的箭分賜給長女大姬，又將大姬許配給胡公，讓胡公建立了陳國。將珍寶玉器賞賜給同姓諸侯，是要加深親族的關係；將遠方獻納的貢品分賜給異姓諸侯，是讓他們不忘記義務，所以把肅慎的箭分賜給陳國。”陳閔公試著派人到舊倉庫中尋找，果真找到了這種箭。
孔丘在陳國一住就是三年。三年間，陳國一直處於動蕩之中，吳國和楚國交替入侵陳國，日子過得很不太平。終於有一天，孔丘對弟子說：“回去吧，回去吧，我家鄉那些小子誌大才疏，不過好在沒有放棄追求。”