接下來的幾天，凡·高顯得非常安靜，神情憂鬱而消沉。他幾乎沒說過一句話，甚至沒有拿過畫筆。他不讀書，隻是坐在椅子上思考著什麼。
一天，散步時，凡·高想起了一個提議，他馬上告訴高更：“高更，這幾天我一直在想，我覺得自己想到了一個好主意。”“你說吧。”高更回答道。
“你知道為什麼咱們的繪畫全都失敗了嗎？”凡·高問。
“不知道為什麼？說下去。”“因為咱們單獨畫。”“到底為什麼？”高更追問著。
“高更，我們修拉、塞尚……必須一起畫一幅畫。那將是一種真正的畫家的集體創作。咱們每人把自己拿手的東西畫上去，然後合在一起，就可以成為一個偉大的作品，你說呢？”凡·高滿懷期望地問道。
高更發出一陣沙啞而粗野的譏笑：“這可是天底下最偉大的主意！”“走吧，咱們到妓院去，聽了你這個寶貴的主意，我覺得有必要去慶祝一番。”凡·高跟著高更來到了妓院，一路上默默無言。
“你有錢嗎？如果沒有，就把你的耳朵送給我吧，可愛的紅頭發瘋子。”在妓院裏，妓女拉合爾戲弄凡·高說。
凡·高好像忽然省悟過來似的說：“哦，親愛的，真對不起，你等一會兒，我馬上把它割下來給你。”拉舍爾格格地笑了起來。凡·高立即跑回家，走進自己的臥室，拿起那麵曾經對著畫過許多次自畫像的鏡子，放在梳妝台上。
他看著鏡子裏的自己，舉起剃刀，割下了自己的右耳！大約20分鍾後，凡·高又回到了妓院。
“我送給你一件禮物！”他欣喜地說。
拉舍爾打開了紙包一看，紙包裏赫然是一隻血淋淋的耳朵，她恐惶地望著那隻耳朵，然後暈倒在石板地上。
凡·高瞟了一眼掉在地上的耳朵，一副大惑不解的樣子。他彎腰想把它撿起來，結果“咕咚”一聲，自己也摔倒了。
魯林聞訊趕到，用馬車把凡·高送往醫院。高更知道後，像木頭一樣呆了很長時間。他曾預感的事情竟迅速成了事實。他害怕再見到凡·高，於是偷偷地離開了阿爾。
提奧趕了過來，伏在凡·高的床前，淚流不止。凡·高已經恢複了知覺，倒反過來安慰提奧。
凡·高幾次向提奧問起高更的下落。提奧總是含糊其辭。凡·高說，“親愛的提奧，我現在已經好了，我很清醒。請你轉告高更，我和他是一根藝術鏈條中的兩個環節，因為我們了解得太透徹而爭吵。如果這樣導致我發瘋，那又有什麼關係呢？”此外，提奧告訴了凡·高一個好消息：他結婚了。
不久以後，凡·高離開了醫院回到了畫室。
這時，高更寫信來了，他說自己要到很遠的地方去。信中寫道：“我實在是非常喜歡你的《向日葵》，那無疑是偉大的作品。我在阿爾的某些舉動，或許就是在這種巨大的感染力下所產生的紊亂，因此我說了許多錯話，我很難保證再呆下去自己不會發瘋。如果你同意，我用兩幅畫換你一幅如何？”凡·高的心境出奇地好了起來，他又開始坐在太陽下畫畫，畫一些小花小草。
但他的病並沒有徹底好。出院不到兩個月，凡·高的病又犯了。
那天早晨，凡·高產生了一種不祥的預感，一種想吵架的欲望在心中萌動著。於是，他背著畫箱在外遊蕩了一整天，什麼也沒有做，然後到一家小飯館吃飯。侍者把他的食物端上桌以後，他恐懼地審視著盤子。突然，他撲向侍者，抓住他的衣領吼道：“你在湯裏放了毒！為什麼要毒死我？你為什麼要害我？”人們七手八腳地把他抬到醫院裏。
兩個星期以後，凡·高似乎又恢複了正常。但是，阿爾人開始對他采取了一種防範的態度。他的行為超出了阿爾人能夠理解的範圍，他們認為他發瘋是因為喜歡畫畫。
八十多個居民聯名向市長寫了一封請願書，要求市長管一管凡·高。於是，他被警察局監禁了起來。
凡·高恢複知覺後，要求會見雷伊醫生，未被獲準。他討鉛筆和紙給提奧寫信，亦遭拒絕。
他盡量使心情平靜下來，避免病情的惡化。他對市長說：“如果能使那些好人高興，我打算投河自盡，但無論如何，我傷害的是自己，卻並沒有傷害過別人呀！”警察局無法給凡·高定罪。幾天後，魯林把凡·高接出了警察局，送入了療養院。