一切似乎都走入正軌，包括教堂的建造也在積極操辦中。可米開朗琪羅突然拋棄了教皇所贈房屋，拒絕了克萊芒七世的俸金。1524年3月。他正經曆著又一場充滿沮喪的危機。尤利烏斯二世的繼承人們不肯原諒他放棄了之前已經開始的工程，他們威脅著要追捕他，對他的不忠進行起訴。米開朗琪羅一想到這個官司就驚惶錯亂。他認為他的對手們說的有道理，自己的確沒有履行諾言，因而他覺得隻要沒有歸還尤利烏斯二世所給的那份酬勞，就不可能去接受克萊芒七世的俸金。
“我工作不了，也活不下去。”他寫道。1525年 4月19日，米開朗琪羅寫給教皇的委托人吉奧瓦尼·斯皮納的書信。他懇求教皇與尤利烏斯二世的繼承人們進行交涉，幫助他歸還自己欠他們的一切：
我將變賣一切，並做所有應該做的事情來進行償還。
要麼，允許他將全部精力投入到建造尤利烏斯二世的陵墓中去：
我盼望脫身於這個義務更勝於求生。
一想到克萊芒七世如果去世，他便將置身於敵人的追捕中，他絕望地哭泣著，就像個小孩：
如果教皇就此把我丟下，我則不能在這世上存活……我不知道該寫什麼，我腦中一片混亂……1525年10月24日，米開朗琪羅寫給法圖奇的書信。
而克萊芒七世並不認為藝術家的絕望有多麼嚴重，他依然堅持要繼續美第奇教堂的工程。米開朗琪羅的朋友們也根本不理解他的顧慮，並勸他不要拒絕俸金，讓人取笑。其中一個狠狠地批評他，認為他考慮不當便行事，並請求他以後不要再陷在那些怪念頭中。1524年3月22日，法圖奇寫給米開朗琪羅的書信。另一個給他寫道：
別人說您拒絕了俸金，放棄了被贈的房屋，停止了工作：在我看來，這完全是瘋狂的舉動。我的朋友，我的夥伴，您讓您的朋友占了便宜……所以，不要再管尤利烏斯二世陵墓的事情了，接受俸金：因為他們給您俸金是出於好意。1524年3月24日，利奧納多·塞拉焦寫給米開朗琪羅的書信。
可米開朗琪羅堅持己見。——於是教皇財政部抓住他的話柄，立即照做：他們取消俸金。這個可憐的人，立即陷入了絕境中，幾個月後，被迫重新申請得到自己已經拒絕過的俸金。他先是小心翼翼地，羞怯地：
我親愛的吉奧瓦尼，既然筆頭總是比語言所能表達的更加大膽，所以我給您寫這封信，說說這些日子裏我幾次都想跟您說但沒有勇氣明白說出來的事：我還能得到俸金嗎？……如果我被確切告知再也拿不到俸金，我也不會改變自己的態度，我將一如既往地盡我所能為教皇服務：但最終我還是要安排好我自己的事情。1524年，米開朗琪羅寫給吉奧瓦尼·斯皮納的書信。
可是，被生活所困，他再次請求道：
仔細考慮一番後，我發現了教皇是多麼重視聖洛倫佐這項工程。既然聖上本人同意給予我俸金，以便我更方便更快捷地為其服務，所以我改變了主意：我同意推遲而不是不接受這項工程。而且之前沒有要求俸金的我，今天要求得到俸金，在此我無法一一贅述理由……您能否發給我俸金，並從下發那天開始算起……請告訴我您認為什麼時候我領取俸金合適。1525年8月29日，米開朗琪羅寫給吉奧瓦尼·斯皮納的書信。
而對方想給他一個教訓：對他的要求置若罔聞。兩個月後，他還是什麼也沒有得到。他被迫接著再一次申請得到俸金。
他無比痛苦地工作著，憂慮阻礙了他的想象力，讓他深深不滿：
煩惱糾纏著我……一個人不能手上做著一件事情，腦子裏卻想著另一件事，尤其是雕塑這項工作。有人說，這是種刺激激勵方式，但我要說這些都是惡性的刺激，隻能讓人後退。我已經有一年沒有領到俸金了，我與苦難鬥爭著：我孤身在痛苦中奮戰，那麼多的煩心事，比藝術還讓我操心。我連雇傭一個人服侍我的錢都沒有。1525年10月24日，米開朗琪羅寫給法圖奇的書信。
克萊芒七世時不時被他所遭受的苦難所觸動。他向米開朗琪羅深情表達自己的同情，向他表示自己會恩寵他，“直到自己死去”。1525年12月25日，皮埃·帕奧羅·瑪爾茲代表克萊芒七世寫給米開朗琪羅的書信。但美第奇家族那難以救治的輕率稟性又一次占了上風：他沒有讓米開朗琪羅減輕任何工作，反而給他添加新的負擔——建造一座可笑的巨像，巨人頭上要頂著一座鍾樓，而胳膊上要托著一個壁爐。1525年10月到12月信件。參看《藝術大家》中《米開朗琪羅》一章，有綜述談到這件怪異的事情以及米開朗琪羅的計劃。米開朗琪羅得花時間忙於進行這個奇怪的構思。他還得不斷與工人、手工匠、車夫等人進行拉鋸戰，因為先驅宣傳者提倡的一天八小時工作時間的觀念影響了他們。1526年6月17日，米開朗琪羅寫給法圖奇的書信。