然而，孔子是個寧要原則不要官位的人，他雖然對季康子盛情邀他回國不無感激之情，但在原則問題上卻不改初衷，這就使他與三家大夫特別是與季氏難以建立融洽的關係，因而衝突就不可避免了。
魯國的稅製改革開始於公元前594年的“初稅畝”，廢除以前“使民以藉”的助耕法，即勞役地租，改為一律按田畝征稅，稅率大約為收獲物的十分之一。
公元前509年又實行“作丘甲”，征收軍賦增加了四倍。
公元前484年，季康子在前兩次改革的基礎上，準備實行新的賦稅製度，征收收獲物的十分之二，比原來差不多增加一倍的剝削量。
因為孔子剛剛從國外返回魯國，享受國老的待遇，具有很高的威信，季康子就讓冉有征求他的意見，目的是利用孔子對他的感激之情求得孔子對這個稅收方案的讚同。
隻要孔子表示同意，季康子就可以上對哀公有個交代，下對其他臣民陳述充分理由。然而，季康子的算盤打錯了。孔子還是孔子，他決不違心地同意自己反對的舉措。所以，當冉有興衝衝地就這項政策征求孔子的意見時，孔子以不了解情況為由拒絕表態。
冉有連問三遍，一再懇求說：“先生身為國老，德高望重，大家都等著您老表態，您為什麼不說話呢？”孔子仍然不表態。其實，孔子不表態已經是最好的表態了。
後來，孔子私下對冉有不客氣地說：“君子辦事應該以禮作為標準，施舍要豐厚，辦事要中正，賦斂要微薄，如果根據禮法辦事，過去以丘為單位征收賦稅也就可以了。如果不根據禮法辦事，就是按田畝征稅也難以滿足貪得無厭的欲望。事情明擺著，季孫氏想按禮法辦事的話，從前周公製定的典章製度俱在，何必問我？如果自己想怎麼幹就怎麼幹，就更沒有必要來問我了！”
孔子講這番話的目的，自然是讓他傳話給季康子，希望季康子考慮自己的意見，不要實行新的稅製。然而，季康子根本不把孔子的意見放在心上。
第二年春天，他就宣布實行新的田稅政策。這時，作為季氏家臣的冉有全力協助季康子推行這一政策，使他更快地聚斂了大量的財富，比魯國國君更富有。
孔子看在眼裏，十分氣憤地對弟子們說：“冉求不是我的門徒了，你們可以大張旗鼓地聲討他啊！”
在孔子的弟子中，冉有具有卓越的行政才幹，他講求實際，善於獨立思考，有很強的隨機應變能力，在感情上也比較接近季氏等新興的勢力，因而他能在季氏那裏得到信任並作出顯著成績。
也正因為如此，他必然與孔子的理想主義發生矛盾，衝突也就難免了。孔子對冉有在季孫氏推行新田賦政策時的表現非常惱火，所以才號召弟子大張旗鼓地聲討他。
一向待弟子和藹可親的孔子對冉有發了如此大的火，這說明他們之間的分歧實在是不同尋常。孔子餘怒未消地反駁冉有說：“能力不足的人是走到中途才停止，而你現在卻是自動停止前進。”
不久，季康子要去舉行祭祀泰山的典禮，孔子知道後很不高興。
季氏家族仗著自己財富超過魯國國君，又長期把持國政，不時幹出一些違禮之事。以前，季平子祭祀祖先時，居然使用天子的禮樂，讓八個行列的舞蹈隊翩翩起舞。今天，季康子居然又要去祭祀泰山，泰山可是隻有周天子和諸侯們才有資格祭祀的啊！
不久前，孔子雖然對冉有的行為不以為然，憤激時甚至宣布他不是自己的弟子，但氣消以後冷靜下來，他還是同冉有來往，保持著師生之間的情誼。
他希望阻止季康子的非禮行為，於是找來冉有，問他：“你不能勸阻此事嗎？”
冉有回答得十分幹脆：“不能。”
孔子沉默了一會兒，失望地慨歎說：“嗚呼！難道泰山神還不如凡夫俗子林放（即孔子的一個弟子）知禮嗎？”
孔子對季康子的違禮實在是無可奈何了，隻能想象知禮的泰山神不會接受季康子非禮的祭祀而已。
孔子明白，他對政治的影響越來越弱了，隻能眼睜睜地看著時代的航船向著他不願看到的方向駛去。他憤怒、迷惘、憂愁、悲歎，卻又無可奈何。於是隻得埋頭於學問，與大自然對話，希望在昏亂的政治之外找到心靈的寄托。
孔子跟魯哀公談過之後，感覺國君沒有任用自己的意思，也就不再爭取，隻是在家休養生息，就這樣又過了幾年。
這幾年裏，顏回的死給了孔子最大的打擊，天下最像他的人先他而去，隻能感歎說：“這是上天不讓我活了啊！上天不讓我活了。”
孔子本想依靠顏回來傳學說的，現在隻能靠自己，“活在這樣的世界上，我的辦法是行不通了。但是真的是行不通的嗎？後來人能不能走我這條路呢？”於是，他便開始著書立說。
雖然孔子原來也寫過一些書，但多是編輯整理，如《詩經》、《易經》。孔子認為那些終究不是自己的東西。他要寫一部屬於自己的大作，這就是《春秋》。
孔子著作《春秋》時，堅持不與任何人討論，裏麵每一個字都是他自己認為不能夠修改的。孔子不覺感慨萬千：“後人知道我，是因為春秋這本書，後人怪罪我，也會因為春秋這本書。”
子路看過之後，覺得不錯，就建議他將這本書也給周朝圖書館捐獻一本。捐獻的受理人還是圖書館館長老子。
老子不太願意接受這樣的捐獻，孔子於是就說服他接受一本。老子說：“你這書太長了，能不能給個概要啊？”
“要在仁義。”
“仁義是什麼呢？是人的本性嗎？”
“仁義就是忠誠之心，願物安樂，慈愛平等，兼濟無私。這應該是君子的本性吧，不仁則不成，不義則不生。”老子想起自己在孔子年輕的時候，就曾用話語點撥過他，沒想到他還是那樣。
“唉，這話聽起來怎麼這麼假呢！慈愛平等，不也太迂了嗎？兼濟無私，不也是個私嗎？你希望天下不失去它的牧羊人嗎？那麼天地一直就有自己的道理，日月一直就有自己的光輝，星辰一直就有自己的行列，野獸一直就有自己的種群，樹木一直就是這樣直立的。你也應該依照自然而生活，循著物理而前進，就夠了吧！又何必這麼努力地提出仁義來呢？就像敲著大鼓去找逃跑的人一樣。唉，你真的是把人的本性都搞亂了。”
雖然如此，《春秋》還是被老子收下。
“仁愛”貫穿了孔子的一生。
帶著崇高的信仰逝去
公元前487年秋的一天，孔子正在衛國蒲邑與弟子子路交談，忽然侄兒孔忠來衛都稟報嬸母病重的消息。
孔子拉起侄兒說：“我時常思念你嬸母，她待老人賢善，待我溫柔，待孩子們周到，待鄰裏寬宏。我本想壯年為恢複周公禮製、實行仁政德治多做些事，年老時再與她團聚，共享國泰民安之福。然而，現在她病倒了，我何嚐不想盡快回到她身邊，為她治病，伺候她，安慰她。況且，我也很思念兒女、侄兒、侄女。”
弟子們同聲懇勸：“趕快回家看看師母吧！”
孔忠懇求說：“您老人家如今到這步境地了，還不為家想想？叔父呀！回家吧！快回家吧！”
孔子淚如雨下說：“家，對於一個人、對於一家人來說，太重要了；國，對於一家人、對於千家萬戶來說，更為重要。國與家比，當然是國比家大、國比家重。
“當初，我離開魯國，是因為國君魯定公、相國季孫斯接受齊饋女樂，荒政拒諫。雖然他們均已作古，但新國君魯哀公、新相國季孫肥並沒派人來接我，這說明他們仍不想以禮治國，不想推行仁政德治，不謀強國之道。我若不請自返，豈不遭世人恥笑和新君、新相鄙棄。
“對於一個仁人誌士來說，沒有比信仰更高貴的了！我信仰周禮，非禮不行，非仁不就，天塌地陷不動搖！所以，我暫時還不能回國，隻好再等待一下時機！”
公元前482年臘月的一天，孔子巡遊歸來，剛回到距曲阜二十裏的地方，忽見公西華飛馬而來。公西華下馬急報：“稟老師，我原是去武城給您送信，不料在此遇見，師兄孔鯉突發重病。”
“火速回家！”孔子一聽二話沒說，命駕車的顏回快馬加鞭。
走進家門，孔子的獨生子孔鯉已經咽氣了，全家人痛哭失聲。孔子望著兒子蒼白的麵色，放聲痛哭道：“兒啊！你走得這麼急啊！爹竟沒見你一麵！兒啊！你母親臨死時，我也沒能見上一麵！我對不起你們母子啊！蒼天啊！你如此不公啊！我孔丘幼年喪父、中年喪妻、老年喪子，人生中的最大苦難怎麼全落在了我頭上啊！”
孔鯉死後不久，他的妻子生下了遺腹子孔伋。孔子看著這個長得虎頭虎腦、滿身靈氣的孫子，悲喜交集，熱淚盈眶。喜的是第三代有兩個男孩，他的香火可以傳下去。悲的是兒子早逝，看不見他自己的孩子了。而孔子自己也已經70歲，感覺身體一天不如一天，也無力為亡兒撫養遺孤長大成人。
這個孔伋卻沒有辜負他的期望，他的資質比他的父親聰明，祖父的遺傳基因似乎更多地在他身上得到繼承。
孔伋後來成為著名的儒學大師，他寫的《中庸》一書，成為儒學發展史上從孔子到孟子的橋梁。在戰國時期和以後的曆史上，以他與孟子為代表形成的孔孟學派產生了極其深遠的影響。
孔鯉死後不久，孔子還沒有從失子的悲痛中恢複過來，又遭到一連串的打擊：冉耕、顏回和仲由接連死去，他幾乎要被這接踵而至的悲哀擊倒了。
公元前479年的新春伊始，孔子臉上已無過年的喜悅，隻好躺在病榻上過春節。
他時而昏迷，時而清醒。醫生估計：聖人壽終為期不遠。
四月的一天上午，孔子以手示意起身。弟子們連忙扶老師坐起來，讓他後背靠在墊著棉被的牆上，為老師洗淨臉，梳理好頭發，還給老師喂下半碗稀飯。這時，孔子清醒了許多。
孔子對守候在他身邊的弟子們說：“我從三十歲開始，設壇教徒，曆時四十二年，有三千弟子從學於我。其中，有很多人德才兼備，也能為國家、為社會效力，我感到欣慰。人活七十古來稀，我七十歲了，病魔纏身，歸天之日近在眼前。”
禦醫摸手切脈後，注意觀察了一會兒，示意大家離開病榻。走到屋外，禦醫對哀公、孔忠、閔損、曾參說：“你們看清楚了吧？剛才，夫子用手抓床呢！憑借我四十多年的臨床經驗，這不是好兆頭，因為病人用手抓床，預示著最多隻能再撐七八天。”
一天早晨，孔子強撐病體，拄著手杖，挪步門前。他看著滿院的弟子，用盡氣力說：“周經曆六百多年，日漸衰微，我終生主張複周興魯，曆盡磨難，願望難以實現。但我仍希望你們奮發進取，報效社稷，克己複禮，振興魯國！”
這時，急匆匆趕來的子貢一步撲到孔子麵前，跪在地上，哭著說：“弟子不知老師病重，剛進門，來遲了，請老師恕罪。”
孔子坐在堂屋正中，對子貢說：“夏人死了在東階上停棺，周人死了在西階上停棺，殷人死了在兩階柱子中間放棺材。我是殷人的後代，昨夜做夢，我坐於兩階柱子中間了。我快死了，要回到我的殷人先祖那裏去了。”
七天後的早晨，穿上壽衣的孔子回光返照，精神忽然興奮起來，清晰地說：“堯、舜、禹、湯、文王、武王、周公……周公來接我了。”
這時的孔子似乎已沒有一點痛苦了，他端端正正地躺在病榻上，低聲說：“大道之行也，天下為公。”
聖人留下這最後一句話之後，慢慢地閉上了雙眼，離開了人間，享年七十三歲。