不過，就連周伯倫、陳水扁也明白，逼迫已經九旬高齡、在學術界享有崇高地位的一代大師錢穆搬出“素書樓”，雖然可以用來攻擊國民黨，但是弄得不好會激起民憤，因為誰都知道這並非錢穆“非法霸占”，是蔣介石、蔣經國的特意安排，何況當時錢穆已經準備了建屋之款。於是，周伯倫、陳水扁提出一個匪夷所思的建議：在錢穆搬出“素書樓”之後，把“素書樓”改為“錢穆紀念館”！
錢穆得知之後，歎道：“我活著不讓我住，我還沒有死就要建紀念館？”
麵對周伯倫、陳水扁的猛烈攻擊，錢穆為了維護自己的名節，毅然決定遷出“素書樓”。1990年6月1日，已經雙目失明的95歲的錢穆搬出了已經住了27年的“素書樓”，在台北市杭州南路辟屋居住。
3個月後，心情鬱悶的錢穆於1990年8月30日風雨交加的早晨病逝於杭州南路新寓所。
錢穆的去世，引發台灣社會對於周伯倫、陳水扁的強烈譴責。錢穆的高足餘英時先生，為錢穆寫了一副挽聯：
一生為故國招魂，當時搗麝成塵，未學齋中香不散。
萬裏曾家山入夢，此日騎鯨渡海，素書樓外月初寒。
根據錢穆遺願，1991年1月，錢穆夫人胡美琦把錢穆骨灰歸葬於蘇州西山之俞家渡石皮山。錢穆終於回到了故土。
1994年，陳水扁當選台北市長，“素書樓”事件始終是他無法遮掩的詬病。當“錢穆紀念館”在“素書樓”開幕時，作為台北市長的陳水扁在講話中表示了對錢穆的道歉。陳水扁的原話如下：
今天我特別指定要來錢穆賓老紀念館素書樓，以吊唁這一位“一代儒宗”，我覺得我有這個義務和責任來向我們賓老說一聲：“賓老不死，不是隱入曆史，而是活在曆史。”所以向他獻花、致意，在心裏我是這樣來默禱，我是親自來向賓老表達歉意和說聲“對不起”。政府，特別是台北市政府，在過去做得不夠，也許是由於一些雜音和壓力，忽略了對一代儒宗所應該要有的特別的禮遇，我一直覺得當初讓我們的賓老遷出素書樓而搬到杭州南路的住宅，不到三個月的時間就離開我們，並且在八十一年（注：即1992年）歸葬中國大陸的江蘇太湖之濱，是我們最不願意看到的事宜，但是這樣的事實終究還是發生了。現在我有機會擔任台北市行政首長的工作，我唯一能做的、應該做的、最想做的就是今天特地來賓老銅像的麵前來跟他致歉，來跟他說一聲“對不起”，我希望未來類似事情的處理一定要非常的審慎。
2010年8月30日，為了紀念錢穆先生去世20周年，國民黨主席、“總統”馬英九來到“素書樓”，表示對錢穆先生的敬意。馬英九說，他以飲水思源、追念大師的心情參加追思會，但也很感慨；錢穆先生在蔣介石邀請下來台，卻因政治因素被迫遷離居住20餘年的“素書樓”，以至於在搬遷後3個月辭世。對此，馬英九引用《論語·衛靈公篇》“君子疾沒世而名不稱焉”來描述錢穆先生所遭遇的不公不義對待。他說，這段風波讓我耿耿於懷，這是對文化的暴力，希望台灣再也不發生這樣的事情。
正在醫院養病、82歲的錢穆夫人胡美琦女士也在追思會上說，20年來常想起先生去世前寫的一副春聯：“塵世無常，性命終將老去；天道好還，人文幸得綿延。”她說，“這句話正是我此刻心境”。
我在“素書樓”參觀良久，離去時遙望這座山坡上的小樓，不由得感歎，“素書樓”的命運，正是台灣政局風風雨雨的縮影；而錢穆的一生，從成名於大陸到晚年居台灣，到遺骨重返故土，則正是海峽兩岸政局風風雨雨的見證。
無錫“素書堂”舊貌換新顏
也真巧，我從台灣回來之後一個多月，應邀前往無錫講座，順道去參觀錢穆在無錫的故居。
無錫家喻戶曉的名人故居，是晚清外交家薛福成的故居，幾乎占了無錫老城的一半，故有“薛半城”之稱。錢鍾書的故居以及張聞天故居、博古故居都在薛福成故居附近，而錢穆故居在無錫倒是鮮為人知。
錢穆在《八十憶雙親》中曾經寫及：“餘生於江蘇無錫南延祥鄉嘯傲涇七房橋之五世同堂。”我請無錫朋友幫助，駕車前往七房橋。七房橋在無錫之東，靠近蘇州。幾經問路，終於找到那裏。
七房橋是架在一條小河——嘯傲涇之上的小石橋。小石橋附近，是錢氏家族的聚居之處。據考證，無錫錢氏家族是錢王——錢鏐的後代。錢鏐是五代十國人（公元852年~公元932年），創建了吳越國（今浙江省和江蘇、福建部分地區）。錢氏家族人才輩出，錢學森、錢三強、錢偉長、錢其琛均為錢王之後。無錫錢家之中的名人，還有錢鍾書。據錢穆在《八十憶雙親》中所言，錢穆的十八世祖，乃一巨富，擁有良田十萬畝。十八世祖生了七個兒子，這七房聚居於嘯傲涇兩岸，所以那座石橋就叫七房橋，而錢氏家族聚居之處也就叫七房橋村。七房橋在“文革”中一度被改名為“勝利橋”，現恢複原名。