1505年12月，他回到羅馬，他挑選的大塊白石也已陸續從海路運到，安放在聖彼得廣場上，這個廣場位於米開朗琪羅所住的桑塔－卡泰裏納的後麵。“石塊堆得很高，人們看後都感到一種驚愕，教皇為之狂喜不已。”米開朗琪羅開始埋首工作了。性急的教皇常來看他，“像父子般親熱地和他談話”。為了便於他們之間的來往，教皇令人在梵蒂岡宮的走廊與米開朗琪羅的寓所中間造了一頂浮橋，這樣他就可以隨時經過通道去看他。
但這種優遇並沒有持續很長時間。尤利烏斯二世的性格和米開朗琪羅的性格一樣都很善變。他一會兒熱衷這個計劃，一會兒又熱衷另一個完全不同的計劃。這期間他又想到了一個別的計劃，即重建聖彼得大教堂，這個計劃在他看來更能讓他名垂千古。這明顯是受到米開朗琪羅對手們的慫恿。他們人數眾多，實力雄厚。他們中間的首領是一個與米開朗琪羅一樣有著天賦，但比米開朗琪羅意誌更強大的人：布拉曼特，他是教皇專屬的建築家，是拉斐爾的朋友。這兩個人中，一個是極其理智的翁布裏亞偉人，另一個是帶有野性的佛羅倫薩人，他們兩個人之間顯然不會產生好感的。因為米開朗琪羅曾向他們提出過挑戰，所以他們決心要打倒他。米開朗琪羅曾毫無顧忌地指責布拉曼特，說他在工程中舞弊。孔迪維也曾猜疑說：“布拉曼特會去迫害米開朗琪羅，第一是因為嫉妒他的天才，第二是因為米開朗琪羅知道他曾經的劣跡，他害怕米開朗琪羅對人到處散播不利於他的評價。”因此布拉曼特便決意要除掉他。
首先他讓教皇失去對米開朗琪羅的寵愛。他利用尤利烏斯二世的迷信，利用當時人們的普遍觀念，說在生前建造陵墓是大不祥的。這樣的言論居然成功地使教皇停止了原來修建陵墓的計劃，他也乘機獻上他自己的計劃。1506年1月，尤利烏斯二世決定重建聖彼得大教堂。因為陵墓的事情被擱置起來，米開朗琪羅不僅受到了羞辱，而且還因此負了不少債務。他說：“當運貨船已經從卡拉雷把石塊運到，教皇卻突然改變了主意。此時我不得不自己來付錢。另外，我從佛羅倫薩雇傭的工人們也來到了羅馬，我得安排他們的住處和購買使用的工具，這些事情已將我所有的錢耗盡了，我處於極大的窘境中……”他悲苦地哀怨著，但教皇不再接見他。他為了工程的事情去求見時，尤利烏斯二世讓他的侍從將他逐出梵蒂岡宮。
侍從對米開朗琪羅說：“先生，請原諒我，我是奉命行事，不得不這麼做。”
米開朗琪羅回去上書教皇：“聖父，按照您的旨意，今早我被驅逐出宮。現在我要告訴你，我要離開羅馬了，今後如果您有需要我的時候，您得讓人到羅馬之外的地方找我了。”
他把信寄出去後，對住在他家裏的一個石商和石匠說：“去幫我找一個猶太人，我要把家裏的一切全賣給他，然後你們跟我去佛羅倫薩。”
於是他騎馬趕往佛羅倫薩。教皇接到信，派五個騎兵去追他，晚上11點鍾在波吉邦西追上了他，交給他一道命令：“接到此令，立刻返回羅馬，否則將接受嚴厲的處分。”米開朗琪羅對騎兵說，他可以回去，但前提是教皇要履行他的諾言，否則，尤利烏斯二世永遠不要希望能再看到他。
他還把一首十四行詩寄給教皇：
我的教皇，真應了那句俗語，
“非不能也，是不欲也”。
我不是不能回去，是我打心眼兒裏不想回去，
您相信了那些謊話和讒言，
並且還給他們報酬。
即便這樣，不管過去還是現在，
我始終是您最忠誠的老仆人，
我侍奉您就好比光芒依附太陽。
但您卻沒有因為浪費我的時間而感到痛惜，
我愈是拚命工作，您愈是看我不順眼。
我曾希望成為一個跟您一樣偉大的人，
也曾希望您用公正的度量與威嚴的寶劍，
來評價我所從事的工作，
而不是輕易聽信別人的讒言。
然而上天讓每個人都擁有德行，
卻不讓他們好好地利用自己的德行，
仿佛德行就是一種可有可無的東西。
米開朗琪羅之所以逃亡，主要是因為尤利烏斯二世對他的侮辱和不屑。在一封給朱利阿諾·達·桑迦羅的信中，他透露出布拉曼特要暗殺他的信息。他寫道：“教皇的侮辱和不屑並不是我離開的唯一原因，這其中還有別的事情，但我不願意講出來。如果此刻我繼續留在羅馬，那這座城將成為我的墳墓，而不是教皇的墳墓了。”
米開朗琪羅離開了，布拉曼特成為唯一的主宰。他在米開朗琪羅走後的第二天，就舉行聖彼得大教堂的奠基禮。他將自己對米開朗琪羅深深的仇恨，全都發泄到米開朗琪羅的作品上，他要使米開朗琪羅的事業永遠不能恢複。他命令群眾把聖彼得廣場上堆著的用來建造尤利烏斯二世陵墓的石塊，搶劫一空。
此時，教皇對於米開朗琪羅的反抗大為震怒，接連給佛羅倫薩的諸侯們下敕令，因為米開朗琪羅此時就躲避在佛羅倫薩。諸侯把米開朗琪羅叫去，對他說：“你竟然敢跟教皇作對，即使是法蘭西王也不敢那麼做。我們不願為了你而和教皇發生爭端。因此你得回羅馬去，我們將幫你向教皇求情，如果教皇對你無禮，那就是對我們的無禮。”
米開朗琪羅很固執。他提出條件，要尤利烏斯二世讓他繼續建造陵寢，並且轉到佛羅倫薩工作。當尤利烏斯二世出征佩魯賈和博洛尼亞時，他的敕令愈來愈嚴厲了，米開朗琪羅就想著離開佛羅倫薩到土耳其，那邊的蘇丹曾委托方濟各派教士請他為佩拉河修建一座橋。