孔子把諸事交給伯魚照顧，自己帶領弟子往西而去，目的地是衛國。
當他們到達魯國邊境，準備停下來歇息的時候，幾匹馬飛奔揚塵，從後麵追趕上來。原來是季桓子派人前來挽留，來人說：“季卿聽說夫子棄官出走，立即命我問問究竟。夫子，並沒人得罪您啊，為什麼要離開呢？”
孔子回道：“我可以唱首歌，作為答複。”
於是，孔子撫琴而歌之：“彼婦之口，可以出走；彼婦之謁，可以死敗。蓋優哉遊哉，維以卒歲。”
這段詞的大意是說：那些迷惑人的婦人，可以逼走大臣和親信；那些迷惑人的婦人，足以敗國亡身。我已盡力，無法力挽狂瀾，倒不如悠閑地度過餘生。
來人一聽孔子唱完，一陣心酸，不禁潸然淚下。他知道孔子去意已決，根本無法挽留，隻好含淚和孔子珍重道別。
孔子周遊列國的第一站選擇去衛國是有理由的：第一，衛國有一位孔子非常推崇的賢人蘧伯玉；第二，當時衛國國君靈公治理衛國三十餘年，社會非常安定；第三，也是最主要的，子路的嶽父家在衛國，他的妻兄顏濁鄒可以對孔子一行人加以照顧。
顏回提出了反對意見，他說：“衛君不能重用蘧伯玉，可見也算不得是一位賢君。再說衛夫人南子，素有醜聞，可見衛國必定教化不良。常言道：良禽擇木而棲，賢臣擇主而事。夫子為什麼一定要去衛國呢？”
孔子說：“衛國確實有不少賢臣，例如史如這個人，極為正直。邦國有道，他是如此；邦國無道，他仍是如此。至於蘧伯玉沒有出來做官，也許是未曾受到推薦的緣故。南子是宋國的公主，後來嫁到衛國，關於她的醜聞是由很多因素造成的，我們不能一口斷定是因為衛國教化不良。”
衛國的疆域大概在今天河南省的北部，是當年周武王的弟弟康叔的封地，算起來，衛、魯兩國也有姻親關係。
一行人進入衛國，在一個小鎮上休息。當地一個駐守邊關的小吏久慕孔子大名，想要求見。冉有認為這麼一個小小的官吏，夫子大可不必見他。孔子則認為不然，於是一位瘦小的老頭被引了進來。
孔子和藹地詢問他：“您今年高壽？工作繁忙嗎？”
老人回答：“已經虛度七十有五。老了，不中用了。不過，因為工作的關係，倒是可以經常見到一些名人。”
他和孔子談了很久，對孔子的學識和品德越來越敬佩。他告辭出來的時候，對前來相送的孔子的弟子說：“我今天能拜見夫子，真是三生有幸！以夫子的才能，如果局限於魯國國內，那實在是太可惜了！老天是派夫子下凡，作為警世的木鐸，讓他傳聲布道。你們一定要好好跟著夫子，大可不必灰心。”
“木鐸”是以木為舌的大鈴鐺，一般是銅質的。若以金屬為舌，就叫“金鐸”。當時，政府每逢要宣布法令時，就巡行搖鈴使百姓們注意傾聽。
這位守關小吏的意思是，上天有意讓孔子離開魯國，周遊各地，以告誡天下人民何為正道。
弟子們聽他這麼一說，深感自己責任的重大，同時也堅信夫子的政治理想一定可以實現。
孔子乘坐的車子輪流由弟子們駕馭。這一天，正好冉有駕車，孔子一路觀賞風景。此時已經快要接近衛國的都城。
孔子對冉有說：“看起來，這裏人口眾多。”
冉有答：“是啊，這裏的確人口很多。人多了以後，該怎麼做呢？”