錢鍾書大約是1938年秋冬之交到西南聯大任教並破格晉升為教授的，至次年暑期離開昆明轉赴湖南藍田師範學院任英文係主任，並開始了《談藝錄》寫作，在聯大時間不足一年。關於錢氏為何離開西南聯大有許多說法，其中最具有代表性的說法是錢鍾書在聯大到處罵人，也得罪了人，最後自感待不下去，乃鞋底抹油——溜之乎也。錢在聯大教書時年僅28歲，年輕氣盛，才華橫溢，不把時為外文係主任的陳福田與元老級別的葉公超輩放在眼裏應是事實。加之錢氏生性刻薄，難免出語傷人，說出諸如“三太”之類的妄語，引起眾位前輩的反感並非空穴來風。據說，陳福田曾公開說過“錢的學問還欠火候，隻能當副教授”雲雲。但據楊絳《將飲茶》說，1938年秋，在湖南藍田國立師範學院任教授的父親錢老先生亦來信來電，“說自己老病，要鍾書也去湖南照料”。看來是出於兩方麵的交合，錢鍾書便不辭而別，打點行裝，悄然奔赴湖湘而去了。
在錢鍾書離開聯大的問題上，梅貽琦與吳宓皆顯示了愛才如命的學者眼光與人格魅力，梅氏曾在錢鍾書不辭而別，溜之乎也的情況下，仍致電挽留（南按：錢接信甚感慚愧，後來有信致梅，有謂自己“竟成為德不卒之小人哉”之語）。而吳宓也曾為錢氏的聘任問題與陳福田等輩力爭。吳宓之女吳學昭在《吳宓與陳寅恪》一書中，引述吳宓當年日記說：“父親與寅恪伯父都認為錢鍾書‘人才難得’。一九三九年秋，錢辭職別就，父親讀了李賦寧君所記錢鍾書的《Contemporary Novel》《Renaissance Literature》等講義，‘甚為佩服，而更加惋惜錢君之改就師範學院之教職’。”錢來聯大後主講兩門課業，一是《當代小說》，應是當代的英國小說；一是《文藝複興時期的文學》。錢因諸方麵的壓力與嫉妒悄然離去，吳宓自是感慨不已，他可能想看一看錢的才學與教學水平到底如何，才找來李賦寧的上課記錄來讀，這一讀竟大感佩服。這個記載可視為錢氏的才學確是了得，同樣映射出吳宓坦蕩的心胸與愛才憐物的情懷。吳學昭又說：“一九四〇年春，父親因清華外文係主任陳福田先生不聘錢鍾書，憤憤不平，斥為‘皆妾婦之道也’。他奔走呼籲，不得其果，更為慨然，‘終憾人之度量不廣，各存學校之町畦，不重人才也’。又怨葉公超、陳福田先生進言於梅校長，對錢等不滿，‘殊無公平愛才之意……’”
對於錢氏出走與聯大的內部傾軋，陳寅恪同意吳宓的看法，並勸吳要冷靜對待。據1940年3月12日《吳宓日記》載：“寅恪教宓，‘不可強合，合反不如離’謂錢鍾書也。”又，1940年11月4日，陳福田請吳宓等人吃飯，商討清華外文係事務，席間吳宓提議請錢鍾書重回聯大任教，雖“忌之者明示反對，但卒通過”。吳宓與陳寅恪對此稍感寬慰，但錢鍾書最終未能返回聯大。（參見《吳宓與陳寅恪》，吳學昭編，清華大學出版社1992年出版）
如果認為錢鍾書看不起西南聯大外文係諸前輩並說過“三太”之語確有其事的話，他真正得罪的應是葉公超和陳福田等人。吳宓雖在被罵之列，並對錢平時的張狂無忌與口無遮攔多有責難，但仍表現出了惜才容物的心胸。據1939年7月2日《吳宓日記》載，吳向錢述及自己同前妻陳心一的“冤苦”關係，“不意明晚滕君宴席中，鍾書竟以此對眾述說，以為談柄！”這則記述，吳宓的怨恨憤怒之情再次顯露。盡管如此，吳仍為錢的去職感到惋惜，並於一年後力主他重回聯大教書，而陳寅恪同樣以類似的心境幫吳宓挽留錢氏出計獻策。
錢鍾書在離開聯大後，輕狂的性格與心態有了很大收斂，並逐漸變得謹小慎微，藏而不露，養精蓄銳起來。如此這般才躲過了後來的“反右”與“文革”劫難，僥幸活了下來。到了1993年春，錢鍾書夫婦得到了吳宓女兒吳學昭的一封信函，詢問是否願意看看她父親日記中涉及二人的部分。在征得同意後，吳學昭寄來了她摘錄的日記片段。錢鍾書看到早已過世的“傻得可愛”又“老實得可憐”的老師那飽蘸深情的記述，一幕幕往事浮上心頭，內心受到極大震撼。他立即回信向吳學昭自我檢討，譴責自己“少不解事，又好諧戲，同學複慫恿之，逞才行小慧”等。又說：“弄筆取快，不意使先師傷心如此，罪不可恕，真當焚筆硯矣！”“內疚於心，補過無從，惟有愧悔。”