從此，胡適、傅斯年、錢穆在中國大陸被稱為“三大反動文人”。不過錢穆對此覺得不可理解，胡適、傅斯年與國民黨政權有著極其密切的關係，被稱為“反動文人”還算有其緣由，而錢穆隻是一介書生而已。正因為這樣，1950年秋，錢穆在給學生酈家駒的一封信中說，自己抗戰勝利後“足跡不到京、滬、平、津，不在公立學校教書”，“單槍匹馬，一介書生”，“怎麼找到我頭上”？尤其是在《丟掉幻想，準備鬥爭》收入《毛澤東選集》第四卷之後，錢穆知道是毛澤東點了他的名，錢穆一直耿耿於懷。
1950年，錢穆在香港新亞書院（香港中文大學的前身）任院長。新亞書院的早期學生餘英時，後來成為著名曆史學家。
1966年“文革”風暴席卷中國大陸，香港的極左派也聞風起舞，製造動亂。作為“三大反動文人”之一的錢穆，在香港感到動蕩與不安。就在這時，蔣介石親自邀請錢穆赴台安居。於是錢穆夫婦在1967年10月從香港移居台灣。蔣介石令蔣經國拜錢穆為師，學習國學。
錢穆先是暫住在台北市區的“自由之家”，不久租居於台北金山街，與此同時著手在台北自建住房。當時錢穆夫人胡美琦拋掉了香港彙豐銀行的股票，以這筆錢作為在台北建房款。錢穆夫婦踏勘台北各處，選中翠林幽穀的外雙溪。錢穆夫人胡美琦親自設計，繪製了房屋設計圖。
此事被蔣經國得知，從錢穆夫人胡美琦那裏索去圖紙，說是“老師不必費心”，由他交給陽明山管理局辦理施工。在蔣經國督辦之下，小樓很快就在外雙溪建成，不收錢穆一分錢，雖說錢穆夫婦已經準備好建房款。
這幢小樓，就是“素書樓”。1968年7月，錢穆喜遷新居，並當選“中央研究院院士”。錢穆在“素書樓”住了23年，過著舒適、平靜的晚年生活。“素書樓”也是錢穆晚年寫作、講學的場所。錢穆在這裏寫出了許多重要的學術著作，並培養了大批人才。
長女終於獲準來台探親
錢穆萬萬沒有想到，風雲變幻，世事滄桑，“素書樓”竟然成了錢穆“非法侵占公產”的“罪證”，鬧出一場震驚台灣的風波……
隨著蔣介石、蔣經國父子的去世，民進黨在台灣崛起。當時民進黨作為在野黨，千方百計攻擊執政的國民黨。盡管錢穆本人晚年埋頭書齋，並不過問台灣政治，但是這位國學大師畢竟是蔣氏父子“禮賢下士”的象征性人物，“素書樓”是蔣氏父子優待“海歸知識分子”的象征性厚禮，於是錢穆和“素書樓”也就成了民進黨攻擊國民黨的目標。
這一攻擊的導火線，是從錢穆的長女錢易赴台探親開始的。
1929年錢穆與張一貫女士結婚之後，從1931年至1940年先後有4子2女出生，其中第四子早夭，3個兒子錢拙、錢行、錢遜和2個女兒錢易、錢輝（晦）均在大陸逐漸長大成人。在錢穆來到台北之後，苦於海峽兩岸劍拔弩張，無法與大陸子女相聚。錢穆隻得從台灣前往香港，在那裏與子女相見。1981年錢穆赴香港會晤他多年未見的侄子錢偉長，而當時錢偉長秘書正是錢穆長女錢易，這是錢穆在告別大陸之後第一次見到長女，非常興奮。從那以後，錢穆的大陸子女陸續前往香港，與錢穆在香港晤會，每次長則月餘，短則一周。
令錢穆欣慰的是，錢鍾書居然在1985年2月3日給他寫信，邀請他前往蘇州出席“蘇州建城二千五百年紀念大會”。
錢穆與錢鍾書都是吳越王錢鏐的第三十四世孫，同宗而不同支。很有趣，錢穆稱錢鍾書之父錢基博為叔，而錢鍾書則稱錢穆為叔——據說由於錢穆年長錢鍾書15歲，故錢鍾書尊之為叔。1923年，錢穆到無錫省立第三師範教書，是錢鍾書之父錢基博為之介紹的。1930年，錢穆的新著《國學概論》即將交商務印書館出版，請錢基博作序。年僅20歲的錢鍾書，替父親擬了一篇序，錢基博深為讚賞，一字不易，在篇末署“宗人基博謹序”，交給錢穆。1931年錢穆的《國學概論》出版，卷首就印著這篇序：
賓四此書，屬稿三數年前。每一章就，輒以油印本相寄，要餘先睹之。予病懶，不自收拾，書缺有間，惟九章“清代考證學”、十章“最近期之學術思想”以郵致最後得存，餘八章餘皆亡之矣。雖然，其自出手眼，於古人貌異心同之故，用思直到聖處，則讀九、十兩章，而全書固可以三隅反者也。第十章所論，皆並世學人，有鉗我市朝之懼，未敢置喙。第九章竟體精審，然稱說黃黎洲、顧亭林、王船山、顏習齋而不及毛奇齡，是敘清學之始，未為周匝也……