據吳宓在《自編年譜》中所說，早年創辦《學衡》時，曾翻譯過英國小說家沙克雷的小說《鈕康氏家傳》（W.M.Thackeray The Newcomes），並在《學衡》連載，每期登一回。此為吳宓一生中最得意之譯作，也受到外界廣泛關注和好評，周揚當時應為關注者和好評者之一，因而幾十年後產生了調吳宓入京繼續從事這項翻譯工作的想法。當賀麟對吳宓透露這一消息並欲拉吳順杆往上爬時，已對政治有了警覺的吳宓沒有響應，內中原因，許多年後吳宓在校訂《自編年譜》時做了這樣的解釋：“若竟從之，後來周揚得罪，宓必致牽連。然謹慎不往，伏處西師，1968年以後仍受種種之懲罰與鬥爭，則何如其往耶。”[60]
縱觀吳宓一生為人處世，憨厚有餘而精明不足，結識的敵人與仇家自不必說，往往在許多時候被不懷好意的同事、朋友，甚至弟子引入早已挖好的坑中，上當受騙，落入無妄的屈辱與災禍之中難以自拔。但這一次卻是少有的異數，吳清醒而自尊地做了拒絕，在當時看來，這個抉擇是明智的。至於日後於西師遭受的侮辱與肉體折磨，就不是吳宓的心智所能控製得了的。
1961年9月13日早晨，吳宓在元配夫人陳心一住處檢視從昆明運回、存放於此處的兩箱書籍，做了妥善安排，準備離開北京。早餐時，吳宓麵對陳心一賢惠的品性和殷勤伺候，想起陳寅恪夫婦特別是唐筼再三讓自己與陳氏複婚的殷切叮囑，有些動情，但仍心神不定，無法下定決心剖白心事。聯想到自己已是67歲高齡，陳心一也衰老了，此次分別，未必能再相見。想到此處，“忽覺悲從中來，幾於食不下咽”。[61]餐畢，吳宓在陳心一和友人陪同下於北京火車站登上了西去的列車，吳陳這對恩怨夫妻就此永訣。
吳宓此次西行，除應陝西師範大學之邀前往講學，還在妹妹吳須曼陪同下由西安返回家鄉涇陽安吳堡探親訪友，此為吳宓離開安吳堡51年後首次返回故土，自是感慨良多。吳在安吳堡住一宿，於9月17日返西安，旋回重慶西南師院。此次重返，等待他的自然不是鮮花美酒，而是陷阱和地獄。
吳宓先是被內部監控使用，繼之作為“資產階級教育思想腐蝕青年”的典型受到一次次批判。到了1964年，吳宓原擬在暑假、十月上半、十二月下半請假再度南下，探望他一直掛念於心的陳寅恪夫婦，並打算在中山大學“住半年，為寅恪兄編述一生之行誼、感情及著作，寫訂年譜、詩集等”。[62]但三次出訪計劃和努力均告落空。當最後一次南渡化為泡影，吳宓悲劇命運的高潮大幕隨之開啟。1965年初，“四清”運動全麵展開，吳宓被革出教師隊伍，不準再授課，屬他所做的是接受師生批判與校內組織的勞動改造。
1966年，“文革”風潮突起，吳宓被打成“牛鬼蛇神”和“反動學術權威”關進“牛棚”，成為重點批鬥對象。除了站“鬥鬼台”接受批鬥，還要戴白紙高帽遊街示眾，接受眾人的打罵與人格侮辱。其間，大量日記、文稿、藏書遭到洗劫，落入學校造反派手中的一部分，則一一審查，看是否能從字縫裏找出反黨反社會主義的罪證。吳宓早年以“學衡派”代表聞名學界，一生提倡國學，無論是板書、鋼筆字，幾十年來一直為直行書寫，正體字。當文稿、日記被查抄後，紅衛兵從字縫裏沒有找到反革命吃人的罪證，卻從書寫格式和字體本身找到了“罪證”，遂進行大肆批鬥。生性耿直、倔強的吳宓內心不服，說毛主席詩詞也有繁（正）體字，難道他老人家也反黨反社會主義？話剛一出口，就挨了兩個大嘴巴，接著被紅衛兵卡住脖子按倒在地，拳腳相加，揍了個鼻青臉腫。最後拖下去的時候，一紅衛兵頭目喝了一句：“毛主席寫繁體字是革命的藝術，你吳宓寫繁體字就是反革命的禍水。”[63]言畢，朝已呈麵條狀的吳宓臀部猛踹一腳，吳立撲，躺在地上半天動彈不得。
1969年4月27日，吳宓與中文係“牛鬼蛇神”教師七人，被學校工宣隊、專政隊押解到離重慶七百裏外的梁平縣鄉間的西南師範學院分院勞動改造。在一次批鬥大會開始前，專政隊派出一群革命小將拖著吳宓向會場狂奔，接近食堂時，身體虛弱的吳宓已跟不上小將們的步伐，身體下墜，高呼饒命。專政人員見狀，怒火頓起，幾個小將把吳宓身體架於空中，像投擲麻袋一樣猛地向前推出，吳宓從空中落下一個踉蹌撲倒在堅硬的磚鋪地上，當場左腿骨折，痛得在地上打滾兒。少頃，小將們把吳宓架上一張桌子做成的“鬥鬼台”開始批鬥。吳宓站在台上，疼痛難忍，汗如雨下，未鬥幾個回合就從台上滾落下來昏死過去。專政組人員見狀，認為吳宓以裝死的手法抗拒革命行動，罪加一等，於是令人將其拖到一間密不透風的小黑屋關了起來。半夜時分，吳宓從昏迷中醒來，麵對漆黑的四壁，不知身在何處，疼痛與饑餓使他難以忍受，遂趴在堅硬的地上，抬起浮腫的手拍打著上鎖的木門喊道：“我是吳宓教授，給我開燈……我餓得很嗬，給我一碗稀飯吃吧……我是吳宓教授，給我水喝……”