這些無疑都是他被免官的原因，但也還有一種說法，說他準備搬運回來的“青芝岫”過於高大，已經超過了皇家禦園收藏的規格，魏忠賢及其走狗倪文煥就是以此為由參倒米萬鍾的。如大隱於朝：小隱於野，中隱於市，大隱於朝。小者隱於野，獨善其事；中者隱於市，全家保族；大者隱於朝，全身全家全社會。東晉王康琚《反招隱詩》說：“小隱隱陵藪，大隱隱朝市。伯夷竄首陽，老聃伏柱史。”李善注：“《史記》曰：‘老子，名耳，字聃。’《列仙傳》曰：‘李耳，字伯陽，生於殷時，為周柱下史。’又曰：‘武王平殷，伯夷叔齊恥之，義不食周粟，隱於首陽山。’”朝市，朝廷和市場，泛指人口稠密的熱鬧地方。
果真是這樣，我們就不能不為之感到遺憾了。
事實上，米萬鍾愛石確實有點過了。
他的許多稱號，都與石有關，如友石、文石居士、研山山長、石隱庵居士等。其中“研山”的“研”通“硯”，“研山”即山形石硯，據說最早是屬南唐後主李煜所有，後來有一塊落在了宋代書畫家米芾的手裏，米芾將其視為至寶，並且為之寫了《研山銘》貼。米萬鍾自稱“研山山長”，除了表現他對研山石的喜愛外，也暗示了他與米芾的本家關係（據史書記載，米萬鍾是米芾的後裔）。當時的人們因此說他“無南宮之巔而有其癖”，“南宮”即指米芾，因為米芾曾做過“南宮行走”（皇室子弟學校的臨時老師），所以這樣稱呼。“巔”是巔狂的意思，據說米芾行為舉止巔狂，被當時的人們稱為“米巔”。關於他的巔狂，曆史上有很多掌故，一件是說他有一次見到一塊形貌醜陋的石頭，喜之若狂，竟特意穿上禮服，前去祭拜，邊拜還邊把石頭叫大哥。還有一件說宋徽宗召他在禦屏上寫字，他一口氣寫完之後，擲筆大喊：“一洗二王惡劄，照耀宋室千古。”
“二王”指東晉大書法家王羲之和王獻子父子，“劄”，這裏指二王寫的字，“惡”是說他們的字寫得不好，自己完全超過了他們，在宋室更是無人可比了。據說宋徽宗此前未見過米芾，本來是站在屏風後麵的，聽見這話急忙走了出來。米芾除了巔狂，還有兩個癖好，一個是潔，一個是石。米萬鍾雖然沒有他那樣巔狂卻同他一樣有愛石的癖好。
當時有人說米萬鍾“心情欲淡，獨嗜石成癖，宦遊四方，袍袖所積，唯石而已”。他有一幅《絹本畫石長卷》，現收藏在北京大學圖書館。這幅作品，就是他對自己的“袍袖所積”細心觀察、認真研究之後畫出來的。他在這幅長卷的後麵寫有“跋”，說自己見怪石屏列，於是動了心思，分別給每個石頭都起了名字，畫了形狀，並且題寫了讚語。據說今天頤和園裏蘊含“峰虛五老”之意的五塊太湖石即是從米萬鍾所建的園子裏搬去的。北京中山公園“來今雨軒”對麵的北太湖石、名為“青雲片”的，也是從米家的園子移去的。還說這塊“青雲片”與“青芝岫”是姐妹，分別被稱為小青和大青。更有甚者，說他的這種愛好還影響到家人，他的妻子陸氏居然能審音定石，不煩目擊，“但聽米袖中石子戛擊，便知某石以文綺勝，某石以澤潤勝”。不用眼睛看，隻聽聲音就能知道米萬鍾袖子所藏的石頭哪塊以色彩花紋取勝，哪塊以溫潤滑膩取勝。這本事可了不得！真正是爐火純青了。
關於他建的園子，也有一些說法。說他在北京建了三個園子，分別為勺園、漫園、湛園，三園之中，最屬勺園名氣大。
說勺園即建在今天北京大學燕南園以西，取“海澱長河水一勺之意”。米萬鍾曾專門為它畫了《勺園修禊圖》，現存北大圖書館，為該館鎮館寶之一。前麵所說的“青雲片”原本就是放在這個園中的，而“青芝岫”就是準備搬進此園的。有一本書叫《春明夢餘錄》，那裏邊記載說：“海澱米太仆（米萬鍾的最後一任官職是太仆少卿）園，園僅百畝，一望盡水，長堤大橋，幽亭曲樹，路窮則舟，舟窮則廊，高柳掩之，一望彌際”。