1949年錢穆隻身赴廣州然後去香港。1952年錢穆到台灣淡江文理學院剛落成的禮堂演講，忽被屋頂掉下的大水泥塊擊暈，送到醫院急救，後來送至台中養病，受到在台中師範學院圖書館工作的胡美琦照料。胡美琦曾經就讀廈門大學和香港新亞書院，而新亞書院正是錢穆創辦的。後來胡美琦從台灣大學畢業，來香港工作。1956年，錢穆與胡美琦在香港結婚。
從“素書樓”底樓到二樓的樓梯兩側，懸掛著錢穆先生多幅照片，仿佛從錢穆一生中截取一個個有代表性的瞬間。其中最為引起我注意的是1981年錢穆與侄子錢偉長在香港的合影。
二樓左側是錢穆書房。書房四壁皆是從地板至天花板的“頂天立地”的書架。靠窗是錢穆先生的書桌。錢穆諸多著作都是在這裏寫出來的。錢穆生活很有規律，早餐之後便在書房寫作，直至中午。午休之後又繼續寫作。
我在錢穆的書櫃裏，看見《錢賓四先生全集》共54卷，1700萬字。這是錢穆故世之後，由錢穆夫人胡美琦以及幾位錢穆門人整理、編輯的，共分三編，即甲編——學術思想，乙編——史學，丙編——文化人生及其他雜著。《錢賓四先生全集》於1998年由台北聯經出版事業公司出版。
二樓的另一個房間是臥室。錢穆夫婦的臥室陳設很簡單，兩張床鋪和一個五鬥櫃而已。
臥室之外是很大的陽台。透過陽台的玻璃窗，可以看見故宮博物院綠色的屋頂。錢穆和夫人常常坐在陽台上欣賞美景。錢穆在82歲時，曾經寫下一首五絕，描述自己的“素書樓”：
開窗北山下
日出竹光朗
樓中人兀然
鳥雀時來往
“北胡南錢”之譽鵲起
錢穆把自己的一生，獻給了國學研究。他的可貴之處，在於驚人的刻苦與勤奮。錢穆雖然出身錢氏書香門第，乃吳越武肅王錢鏐第三十四世孫。錢穆與錢鍾書同宗不同支，錢穆稱錢基博（錢鍾書父親）為叔，而錢鍾書則又稱錢穆為叔。
父錢承沛是晚清秀才，體弱多病。錢穆7歲入私塾，12歲時，家庭的頂梁柱、41歲的父親離世，孤兒寡母不勝困苦。所幸母親節衣縮食，堅持讓錢穆上學。錢穆在常州中學上學時參加學潮，當時該校學潮的領導者之中還有後來成為五四運動幹將的劉半農以及後來成為中共領導人的瞿秋白。1911年，16歲的錢穆尚未高中畢業，因家貧不得不輟學去鄉間擔任三兼小學國文教師，1913年任教於無錫縣第四高等小學（梅村），1919年任一所初級小學校長，1922年任無錫縣立第一高等小學教師。在做了11年小學教師之後，應聘到福建廈門集美學校擔任教師，即開始在中學任教。1927年成為蘇州中學國文教師。前前後後錢穆擔任小學、中學教師達19年之久。所以這位國學大師的最高學曆，是高中肄業。錢穆在教學之餘，寫作文史論文投稿，在上海《申報》發表，引起學術界注意。但是後來他的投稿屢次不見刊發，錢穆一打聽，方知原委：他在致報社的信中，提及自己是鄉村小學教師——在當時的編輯看來，鄉村的中小學教師能有什麼學問，於是不用錢穆的文章。
然而錢穆“雖居窮鄉，未嚐敢一日廢學”。經過十幾年的日夜苦讀苦學，他發現鼎鼎大名的康有為的《新學偽經考》竟然“其不可通者二十有八端”！1929年，胡適、顧頡剛來蘇州中學演講，作為蘇州中學國文教師的34歲的錢穆得以與他們相識。也就在這一年，他寫出《劉向歆父子年譜》，指出康有為所力主的劉向歆偽造諸經之說不成立。這篇論文於1930年發表於《燕京學報》第七期上。頓時，錢穆引起了北平學術界的廣泛注意。胡適在1930年10月28日的日記中便寫道：“昨今兩日讀錢穆（賓四）先生的《劉向歆父子年譜》（《燕京學報》七月）及顧頡剛的《五德終始說下的政治和曆史》（《清華學報》六·一）。錢譜為一大著作，見解與體例都好。他不信《新學偽經考》，立二十八事不可通以駁之。顧說一部分作於曾見錢譜之後，而墨守康有為、崔適之說，殊不可曉。”
當時任燕京大學國學研究所研究員兼曆史係教授的顧頡剛，致函錢穆：“君似不宜長在中學中教國文，宜去大學中教曆史。”受顧頡剛推薦，錢穆這位江蘇鄉間教師在1930年一舉成為燕京大學國文講師。