“文革”初期，樓適夷、韋君宜和另幾位社級領導幹部如許覺民、鄭效洵、孫繩武等，作為“走資派”，和包括筆者本人在內的其他幾個問題人物（即曆史上有各種“問題”的所謂“牛鬼蛇神”）一起，先被集中在由舊文化部主辦的“集訓班”裏。一個月以後，革命溫度日益上升，那個被稱為“保護傘”的“集訓班”，由於脫離群眾，引起普遍的不滿，隨即解散了，於是各單位群眾組織紛紛派人，領回了各自的“革命對象”。
人民文學出版社的這批“革命對象”被領回後，先在革命群眾的造反呼聲中被勒令低頭遊樓，從一樓“遊”到六樓，再從六樓“遊”下來，然後一律給關在以後樓原編譯所為活動範圍的“集訓隊”裏。樓適夷這時也進了“集訓隊”，他的原辦公室就在隔壁，已被群眾組織征用了，他的辦公桌的抽屜鎖也被打開了。令大家驚奇而又動容的是，抽屜裏塞滿了任何時代都令人膩味的“小報告”，內容涉及原編譯所的不少人。這一下立即招致舉座嘩然，當場便開批判會，要求樓適夷和那位在場的執筆者交代，他們當年是如何迫害革命群眾的。現在回想起來，群眾的威勢不過是借題發揮，在對當事人的一番囁嚅交代高喊一兩分鍾口號之後，也就不了了之了。據那位執筆者交代，他所以寫那些小報告，純粹出於“技癢”這個職業病，原來他是“耍筆杆”出身。這樣“交代”當然難以令群眾滿意，但它所玩弄的滑稽伎倆卻把大家逗樂了，也就沒有人強迫他再交代什麼。而樓適夷，連這樣打馬虎眼的交代也不肯做，一味堅持申辯：自己對那些小報告一份也沒看過。這句話也許是真實的，他當時可能根本並不把那些“讒言”當真，這雖然有助於洗刷他的“迫害群眾”的罪名，卻不免同時“暴露”出他真是相當地“自由主義”，相當地缺乏“政治原則性”。
“文革”後期，開展上山下鄉運動，各文化單位先後到各地窮鄉僻壤辦起“幹校”來。1969年中秋，人民文學出版社隨著文化部離開北京，遷到湖北鹹寧鄉下，軍管建製為十四連。按照革命形勢的需要，當務之急就是清理階級隊伍，也就是在幹部和群眾中間進行一分為二：不但對革命群眾要一分為二，對“走資派”和“牛鬼蛇神”也要一分為二。於是，一方麵在革命群眾中間，在實現“大聯合”之前，早已為了爭奪毛澤東思想的掌握權，發生了無止無休的派仗；另方麵在軍宣隊的領導下，經過“解放”、“歸隊”和分化，“走資派”、“牛鬼蛇神”這類標簽所代表的群體容量日漸縮小。且說在十四連，韋、許、鄭等原社級領導先後從“走資派”恢複了“革幹”身份，同時運動初期被揪出來的一些所謂“革命對象”也一個個得到了解放。最後，隻剩下五個人，給甄別出來，什麼政治活動都不能參加；直到幹校快散夥，才由已被解放的新政治指導員韋君宜召集起來，聽傳達當時已經家喻戶曉的關於林彪叛逃的中央文件，聽完還被告知：“讓你們了解一下這件事，是組織對你們的信任。”這五個人中間就有樓適夷和我，而樓適夷當時是唯一沒有解放的“走資派”。他為什麼遲遲沒有解放呢？據說是他在曆史問題上堅決不肯接受某條“結論”的緣故，這也反映了他為堅持實事求是而倔強不屈的一麵。