但是這種恩寵並未持續多久。教皇尤利烏斯二世的性格與米開朗琪羅那變化無常的性格相比，有過之而無不及。他一會兒熱衷這個計劃，一會兒熱衷另一個全然不同的計劃。對他而言，另一個計劃更能使他名垂千古：重建聖彼得大教堂。這個改變是米開朗琪羅的敵人促成的。米開朗琪羅的敵人眾多而且勢力強大。他們中的首領與米開朗琪羅勢均力敵，而且有著更強的意誌力，那就是布拉曼特·杜爾賓，教皇的建築師，也是拉斐爾的朋友。這兩個翁布裏亞（意大利中部地區）偉人理智堅強，而米開朗琪羅是個佛羅倫薩的孤僻天才，兩者之間沒有任何同情可言。如果這兩個人決定要對付米開朗琪羅至少布拉曼特有此想法。拉斐爾和布拉曼特交情甚好，這使他不得不與前者攜手合作，但沒有任何證據顯示拉斐爾個人有過針對米開朗琪羅的行為。倒是米開朗琪羅曾正言指責過拉斐爾：“尤利烏斯教皇二世和我之間所有的隔閡都是因布拉曼特和拉斐爾的嫉妒所導致。他們總想方設法把我鏟除。拉斐爾確實有理由這樣做，因為他對藝術的了解都是從我這裏得到的。”（1542年10月，寫給一個不知名人士的書信），那也是米開朗琪羅挑起的。米開朗琪羅不管對錯、冒失地指責布拉曼特，並控告他在工程中貪汙。康狄維對米開朗琪羅盲目的友誼使他也產生了疑慮，他說：“布拉曼特先是因為嫉妒所以陷害米開朗琪羅，也是畏於米開朗琪羅對他的判斷，因為他發現了自己所犯的錯。人人都知道，布拉曼特耽於享樂，揮霍無度，教皇付給他的薪金盡管很高，但還是不夠他揮霍。於是他就設法從工程中貪汙，用劣質材料建牆體，致使牆體不夠堅固牢靠，從他所主持修建的聖彼得大教堂、貝爾迪維宮畫廊、聖彼得羅英文珂裏教堂回廊等建築物中，大家都可以發現這一點。現在這些建築物需要重新支撐加固，因為有些已經坍塌，有些即將坍塌。”布拉曼特立即決定放棄這個工程。
布拉曼特使教皇對米開朗琪羅不再寵信。他利用尤利烏斯二世的迷信思想，說據大眾的觀念，在生前建造陵墓不吉利。他成功地說服教皇放棄自己對手的工程項目，並以自己的計劃取而代之。1506年1月，尤利烏斯二世決定重建聖彼得大教堂。陵墓的計劃就此擱淺，米開朗琪羅不隻感到屈辱，他還因工程所投入的經費而負債累累。“當教皇心血來潮改變主意時，從卡拉雷運載大理石的貨船已經在羅馬靠岸，我隻能自己掏付運費。與此同時，我從佛羅倫薩邀請來的石匠也來到羅馬，我隻能把尤利烏斯二世為我在聖卡特瑞納後準備的房屋收拾好，讓他們居住。最後，我自己身無分文，難堪至極。”（1542年10月書信）他隻能淒苦地抱怨。可教皇對他大門緊閉，而且當他重回自己崗位時，尤利烏斯二世讓一個馬夫把米開朗琪羅趕出梵蒂岡。
看到此情此景，盧克奎主教對馬夫說：“難道您不知道他是誰嗎？”
馬夫對米開朗琪羅說：“請原諒，先生，隻是我也是奉命行事。”
米開朗琪羅回到自己家中，給教皇寫信，說道：“聖父，今天早上我在您聖明的指示下被趕出宮。從今天開始我想讓您知道，如果您再需要我，那您就要在羅馬之外的其他任何一個地方來找我。”
他把信寄了出去，叫來住在他家中的商人和石匠，對他們說：“找個猶太人來，把我家裏所有的東西都賣掉，跟我去佛羅倫薩。”
隨後他跳上馬就出發了。1506年4月17日。當教皇收到此信，立即派五個騎士追趕，在大約晚上11點時在波吉幫西追上了他，並給了他這道命令：“收到此信，立即趕回羅馬，否則將嚴加處罰。”米開朗琪羅回複道，如果教皇履行諾言，他就回去，否則就永遠也見不到他。這段話與米開朗琪羅1542年10月的書信內容毫無二致。
他給教皇寫了這首十四行詩：
我的聖主，如果諺語說得沒錯，那真可謂“隻有想不到的，沒有做不到的”。你相信那些謊話和閑言碎語，還對真理的敵人給予獎賞。就我而言，我曾經、現在都是你忠誠的仆人，我對於你就像光線對於太陽一樣不能分離。可我所耗費的時間並不讓你感動。我越是煞費苦心，你越不喜歡我。我曾期望借助你的偉大而使自己偉大，你的公正不阿和強有力的寶劍將是對我評判的唯一標準，而不會用於那些應聲蟲和說謊者。可是上天都在嘲笑自己施與世間的一切美德，似乎隻有當枯樹結果才肯罷休。《詩集》，卷三，參看附件，第二章末。“枯樹”指的是綠色的橡樹，這是德·拉·洛威爾，即尤利烏斯二世家族的徽章圖案。