第一步就順利地拆除了叔孫氏的郈邑領地城堡（今山東省東平縣）。如前所述，從齊國歸還不久的郈邑，還沒有任命邑宰，隻要得到叔孫氏的讚同，拆除起來當然也就十分順當。
第二步拆除季孫氏費邑領地城堡時（今山東省費縣），卻遇到了激烈的反抗。費邑宰公山不狃，當然知道“墮都”的厲害，而且是雙重的厲害。一重是季孫氏肯定知道了自己的叛亂之意，一旦費邑領地城堡被墮被拆，自己也就失去了所有的自衛自保的屏障。另一重厲害當然來自孔子。他知道孔子“忠君尊王”的堅決，那年孔子的拒絕就曾讓他領教過孔子的態度。如果不能抵抗住這雙重的厲害，結果也許隻有死路一條。於是公山不狃不遺餘力地進行猛烈的反擊，並趁魯國國都曲阜空虛之時，率費人突襲曲阜。情急之下，魯定公與季孫氏、叔孫氏、孟孫氏匆匆躲入季孫氏住宅。此時的孔子沒有慌亂，人們似乎又見到了那個郰邑大夫叔梁紇的英勇的身姿。他迅即命令大夫申句須、樂頎率兵反擊，並於姑蔑（今山東泗水縣東）打敗公山不狃。沒有退路的公山不狃隻好逃向齊國。隨之，最大也最堅固的季孫氏費邑領地城堡也被拆除。
一切似乎都在向著成功的方向發展。
但是，孔子在拆除孟孫氏成邑領地城堡的時候（今山東省寧陽縣東北），卻遇到了無法逾越的障礙。這個障礙，看似來自“三桓”之一的孟孫氏孟懿子，實則來自整個“三桓”。
起因於孟孫氏家臣、成邑邑宰公斂處父對於孟懿子的忠誠和遠見（孟孫氏一家利益的遠見）。公斂處父將墮毀成邑領地城堡對於孟孫氏的不利看得清清亮亮。他緊急地對孟懿子說：“墮成，齊人必至於北門。且成，孟氏之保障也。無成，無孟氏也。子偽不知，我將不墮。”（《左傳定公十二年》）公斂處父是個智慧的人，他看到了孔子“墮三都”的實質，並為孟孫氏孟懿子想好了計策：你不是孔子的學生嗎？你又同意過“墮三都”的計劃，總不能輪到自己就出爾反爾吧？那好，不要緊，你就裝作不知道，我來抵抗好了。孟懿子不僅對於公斂處父的忠誠堅信不疑，而且他還對於公斂處父的救命之恩永銘在心。那是在陽虎準備殺孟懿子以取代其位置的時候，是警覺的公斂處父發現了他的陰謀，並及時采取措施，才使孟懿子幸免於難。
果然，孟懿子照計行事，表麵沒有任何反對墮城的表示，暗中卻全力支持公斂處父的反抗。從夏天一直拖到冬天，成邑領地城堡安然無恙、毫發未損。眼看著“墮三都”的計劃就要毀於一旦，著急並感到危險的魯定公於這年的十二月，親自出馬帶領軍隊圍困成邑城堡。讓孔子想不到的是，就連季孫氏、叔孫氏也采取了觀望的消極態度。魯定公的出馬，終因“三桓”的消極而告失敗。
墮城失敗，意味著孔子“墮三都”計劃的失敗。這對孔子仕魯，幾乎是一個致命的打擊。孔子更從“三桓”的態度由積極轉為消極，清楚地感到了自己的對立麵正是強大的、在魯國當道也決定著自己政治前途的“三桓”，尤其是當政的季孫氏。
不僅是公斂處父的想法與孟懿子的態度的改變，讓季孫氏警醒過來。我想，“三桓”甚至會有過一起的溝通與商議。他們徹底明白過來，孔子的“墮三都”看似幫助他們削弱甚至是剪除家臣的力量與威脅，而實質卻是最終削弱“三桓”強大的魯國公室。他們清楚地看到，這個在夾穀會盟中大智大勇的孔子，在“墮三都”的時候，已經成為他們的對立麵，甚至將來還有可能成為水火不容的敵人。季孫氏當然還記得孔子的一係列對於自己不滿的言論，最為大家傳播的，當然是那句：“孔子謂季氏：‘八佾舞於庭，是可忍也，孰不可忍也！’”（《論語八佾》）八佾其實是一種舞蹈，是當時的中央政府的周天子舉行國家大典時，用作典禮開始時的禮樂，八佾便是八個人一排，共有八排，諸侯之邦隻能用六佾，也就是六個人一排的舞蹈，大夫隻能用四佾，即四人一排的舞蹈。對於“是可忍也，孰不可忍也”，我們一般的解釋都是：假如這件事情我們都能忍耐下去，那麼還有什麼事不能忍耐他季氏去做呢？而學者南懷瑾先生則認為應當作如是解釋：像這樣的事情季家都忍心做了，還有什麼事情他不忍心去做呢？言外之意是要告訴大家季家的野心大著呢，叛變、造反，取代魯君甚至周天子，他是都敢於幹的。
仕魯的孔子麵臨著不可回避的抉擇：要麼放棄自己的主張（也即放棄自己的理想與追求），屈從苟安；要麼堅守自己的主張，辭職離魯。
孔子並不是一個固執己見的人。仕魯不過四年的孔子，當然還記得自己與魯國的主政者季孫氏的“蜜月期”，雖然短暫，卻還是讓人難忘的。“孔子行乎季孫，三月不違”（《公羊傳定公十二年》），不正是說的他們倆相互尊重對方的意見、有著很好的配合嗎？
心裏裝著天下的孔子，當然也有委曲求全的時候。身為大司寇，是與魯國的世襲三卿同列為上卿的。但他心裏明白，要想辦成事情，必須要與掌握著魯國實際大權的季孫氏搞好關係，他表麵上是要向魯定公負責，而實際上必須要向季孫氏負責。以“克己複禮”為己任，講究“君君，臣臣，父父，子子”的孔子，卻要向一個亂禮的權勢者讓步，這對孔子是十分痛苦的。但是孔子曾經掩起心上的痛苦，做出過讓步。有一次，孔子去見季孫氏季桓子，或許是意見相左，或許是正好碰到季桓子不悅的時候，孔子想辦的事情就沒能辦成。但是孔子沒有賭氣，緊接著又去登門求見。連自己的弟子都看不下去了，對老師表示不滿。如弟子宰予不高興地提意見說：“從前我曾聽老師說過：‘王公不邀請我，我不去見他。’現在老師做了大司寇，日子不長，而委屈自己去求見季桓子的事已經發生多次了。難道不可以不去嗎？”這個時候，內心痛苦的老師，不能不向自己的弟子剖白深藏於心的想法了。他說：“不錯，我是講過這樣的話。但是魯國‘以眾相陵，以兵相暴’的不安定局麵，由來已久，而負責當局不去治理，必將大亂。危亂的時局需要我負責辦事，這豈不比任何邀請都更鄭重和緊迫嗎？”