當然他不可能再繼續從事尤利烏斯二世的陵墓工程了。但可悲的是，他沒能將聖洛倫佐教堂建立起來。他趕走了所有的合作者，想著所有的事情都要親力親為。他不待在佛羅倫薩做他應該做的工作，反而跑到卡拉雷去監督采石工作。在那兒他遇到了各種各樣的困難。美第奇族人不樂意用卡拉雷的石材，想要用最近被佛羅倫薩收買的皮耶特拉桑塔石廠的石材。而米開朗琪羅卻主張用卡拉雷的白石，因此教皇認為他收了別人的賄賂。大主教寫信給米開朗琪羅，說道：“我們猜疑你因為私人的利益，堅持用卡拉雷的石材，而不願用皮耶特拉桑塔石廠的石材。你不必做任何的解釋，教皇的意思是要你完全采用皮耶特拉桑塔石廠的石材，其他的都不要。不要再固執了，如果你不這麼做，就是故意違反我和教皇的意願，這會令我們感到十分憤怒的。”
米開朗琪羅沒有辦法隻能服從教皇的命令，但他又受到卡拉雷人的責難，他們和航海工人串通一氣，讓他找不到一條船肯幫助他在日納與比薩中間運輸白石。他被逼得沒有辦法，不得不在崇山峻嶺和遍地沼澤的平原之間修築一條運輸線。當地的人又不肯拿出錢來幫助築路，工人們也是新來的，根本不懂得怎樣幹活。米開朗琪羅不禁訴苦：
“我想要開山築路，在這裏雕塑偉大的藝術作品，但這卻是一件極艱難的事情，就好像讓死人複活一樣的艱難。”然而他沒有放棄，一直堅持著，掙紮著：
“既然我已經承諾要完成這件作品，我就要不惜一切代價去實踐；我將做出整個意大利從未做出過的事業，希望上帝能幫助我。”
到了1518年9月末，由於過度的勞累，加上煩慮太重，米開朗琪羅在塞拉韋紮病倒了。他的健康因為這樣一項工作變得糟糕透了，在不斷的痛苦煎熬中，他的夢想也漸漸枯竭了。他每天都想著要重新開始工作，但現實又讓他不能實現，這令他悲痛萬分。他一直因為沒能履行那個契約而受盡折磨。
“我煩得要死，因為我糟糕的身體不能讓我從事我喜歡的工作。雖然不是由於我自己的過失，但我最終沒能履行那個契約，我覺得自己跟一個騙子一樣……”
回到佛羅倫薩，他焦急如焚地等待石材運到碼頭，但阿爾諾河卻出現了幹涸的現象，滿載石塊的船隻根本無法進入。
最後，用盡一切辦法石塊終於運來了。但他沒有立刻動工，而是又回到了采石場。像以前修建尤利烏斯二世的陵墓一樣，他固執地在沒有把所有的白石堆聚成一座山頭之前，絕不動工。他把動工的時間一推再推，也許是他害怕開始，因為這真不是他所擅長的。他有點兒過於魯莽地簽下了這項宏偉建築的合同，但現在他已經沒有退路，隻能硬著頭皮前進。
費了那麼多的心思，曆盡千辛萬苦，但白石還是沒能安全運到。在運往佛羅倫薩的六支巨柱式的白石中，有四支在路上斷裂，一支在佛羅倫薩當地斷裂。他感覺上了工人們的當。
最終，教皇與美第奇大主教眼見這麼多寶貴的時間白白浪費在運輸的路上，顯得不耐煩起來。1520年3月10日，教皇一道敕諭，取消了命米開朗琪羅建造聖洛倫佐教堂的契約。直到派來接替他的工人隊伍到達皮耶特拉桑塔的時候，米開朗琪羅才知道這個消息。這對於他來說真是一個殘酷的打擊。
他說：“我不懂這是為什麼！因為這個工程，我白白浪費了3年的時間，而且我因為這個作品破了產。但你們卻這樣，一下子委任我做，一下子又不要我做，這是對我的侮辱！教皇利奧把采石場和已經切割好的石塊收回，給了我500金幣，我現在是自由了！”
但米開朗琪羅不應該指責任何人，他那好強的性格使他沒能完成這件作品，他也為此感到痛苦。1515～1520年，正是他精力充沛、才華橫溢的時期，但他隻雕塑出了黯然無色的《米涅瓦基督》——一件毫無米開朗琪羅特色的作品！而且這件作品還沒有最終完成。
1515～1520年是偉大的文藝複興的最後幾年，此時的意大利仍保持著她那美麗的景象，沒有被大動亂摧毀。拉斐爾創造了《畫室》、《火室》，以及各種各樣的傑作，建造了聖母宮，主持聖彼得教堂的建築事宜，領導古物挖掘工作，籌備節慶盛典，修建紀念物，統治著藝術界，並創辦了一所極發達的學校。最後他在自己勝利的功勳偉業中平靜去世了。
米開朗琪羅卻在他後來的作品中，如美第奇的墳墓、尤利烏斯二世紀念碑上的新雕像中，表現出了理想破滅的悲苦和絕望。
米開朗琪羅雖然向往自由，但終其一生，他都在為別人的意誌服務，隻是從一個主人換到另一個主人而已。大主教尤利烏斯·特·美第奇，不久後成為教皇克雷芒七世，米開朗琪羅從1520～1534年間一直為他服務。
世人對於克雷芒七世頗有非議。但他和所有的教皇一樣，想把藝術和藝術家作為頌揚他宗族的工具。不過米開朗琪羅不應對他有太多的怨言，因為教皇克雷芒七世非常喜愛他，並對他的工作懷有持久的熱情，也了解他意誌的薄弱，知道要時時給他鼓勵，使他振作起來。甚至在佛羅倫薩革命與米開朗琪羅造反之後，克雷芒對他的態度也並沒有因此改變。但他的仁慈並沒有使米開朗琪羅擺脫心靈的煩躁和悲觀，這也並非是他權力範圍以內的事。
米開朗琪羅後來說道：“我服侍教皇是不得已的事。”
米開朗琪羅雖然獲得了不少的榮譽，也在世上留下了幾件偉大的作品，但這和他的夢想還是相距甚遠！但他卻越來越老，而且文藝複興正在消亡，羅馬即將受到野蠻民族的侵略和蹂躪。整個意大利籠罩著一股悲傷的陰影。米開朗琪羅感到悲劇時刻的來臨，內心十分痛苦。
克雷芒七世決定托米開朗琪羅主持修建美第奇家廟與墳墓的建築，這使得他能暫時從悲痛中走出來。他希望米開朗琪羅能全身心地投入進去，甚至還勸他加入教派，好送他一筆教會俸金。米開朗琪羅拒絕了。但克雷芒七世仍按月給他薪酬，比他所要求的要多出三倍，還給了他在聖洛倫佐附近的一所房子。
一切進行得似乎很順利，教堂的工程也在積極進行，這時米開朗琪羅卻突然放棄那處房子，也拒絕接受克雷芒送他的月俸。他內心又在經曆一次灰心喪氣的危機。尤利烏斯二世的繼承人不肯原諒他，恐嚇要控告他，並對他的人格問題提起訴訟。一想到要打官司，米開朗琪羅便被嚇倒了。他知道自己爽約了，別人告他也是有理的。他覺得在尚未償還他所花去的尤利烏斯二世的錢之前，他不應該接受克雷芒七世的金錢。