在此之後，他又對1952年的院係調整表示了看法，承認自己對於東吳法學院的停辦、被分配到法律以外的崗位上，的確很有情緒。他說，這是對學法律的人不夠重視。他說的是真話，但在當時的政治氣候下，說真話會被視為發牢騷，甚至可能被上綱上線，被視為發泄對新社會的不滿，極可能帶來可怕的後果。
幸運的是，無論是反右運動，還是“文化大革命”，都與他擦身而過了，他竟不曾直接受到運動的強烈衝擊。
“文化大革命”開始時，條法司的幾位老同誌，如周鯁生、劉澤榮等都不大上班了。倪徵盡管也已經60歲了，但還不算老，與司裏的其他幾個較年輕的同誌經常到部裏聽報告、學文件，看大字報，甚至不得不去參加對老幹部的批鬥會。當他麵對有些老幹部被打得跌倒在地、眼鏡飛落時，他目瞪口呆，不能言語。
隨後，兼任外交部長的陳毅副總理也被批鬥了。倪徵想起10年前的一天，那時他已調到條法司，剛剛接替周恩來兼任外交部長的陳毅邀請條法司的幾位老專家在外交部食堂共進午餐。看到老人們年邁蒼老，陳毅問他們是否每天都要“點卯”。他們回答說，因事多，故天天來上班。陳毅笑言：“那就不用卯時就到囉。”大家都笑了。當陳毅得知倪徵和其他兩位老同誌來自上海時，因為他曾經當過上海市長，所以格外親切，談了一些上海見聞。
眼見一個個在他心目中都是好人的人，如今卻已毫無人格可言。倪徵不免想到自己，他在心裏做好了隨時被“揪”出來的準備，甚至悄悄地準備好了去幹校的行囊。
然而，什麼事情也沒有發生。1969年大下放時，條法司宣告撤銷，全體人員下放江西上高，家屬隨同。條法司僅僅留下3個人，被調到領事司工作，而倪徵是其中之一。
倪徵為何能夠在“文化大革命”中安然度過？他自己對此也不免感到詫異。倪夫人張鳳楨曾這樣開玩笑地對他說：“都是因為我幫了你。”她指的是她“幫”丈夫較早地摘掉了“地主”的帽子。原來，抗戰中，倪徵一人去了重慶，張鳳楨獨自帶著老父親和小女兒在上海艱難度日。為了生計，極有主見的她將倪徵名下的家鄉田產變賣了。生活逼迫下的無奈之舉，卻無意之中將倪徵從地主隊伍中拉了出來——沒有了田產的倪徵當然就不再是“地主”了。這一身份的改變，在運動中是多麼的重要！
當然，倪徵未被風暴所傷的更重要的原因，正如倪乃先的分析：“外交工作總得要有人做，不能停頓。”
的確，當時，在珍寶島事件發生後，蘇聯對中方的態度有所轉變，將派代表團到北京談中蘇邊界問題，外交部必須要人留守。所以，除了倪徵，原條法司專門負責邊界問題的李清元和賀錫嘉也留了下來。隨後，1970年，又發生了釣魚島事件，以及其他諸如海洋問題等，都需要對外交法律事務非常熟悉的倪徵的坐鎮。
原條法司的老專家們（即法律顧問），大多年老體弱，精神不濟。倪徵相對年輕。他體力充沛、精力汪盛，又頭腦清楚、思維敏捷、經驗豐富。更重要的是，他業務能力強，做事認真。
很早以前，也就是在上海特區高二分院工作時，他就表現出較強的工作能力和極其耐心、細致又頑強的工作態度，深得上司欣賞。當時，他接了一個廠房包工涉外案件，原告是英商禮和洋行，被告是某建築公司。他接手時，被告知這是一件有很多外文證件的涉外案。他打開卷宗仔細一看，竟發現雙方有爭議之處高達130多項。以判案俗語來說，有爭點，必有判決。也就是說，一個爭點等於一個案子。
那個時候，他剛剛到法院工作，此案對於他是個很大的挑戰。按照沈家彝院長的要求，判決必須在最後辯論終結後5天內完成。麵對130多個爭點，也就是相當於130多個案子，他如何能在短短的5天內寫完既有詳盡事實，又有周密理由的判決書，並交院長審閱？況且那一段期間，他還同時兼有另外的案子。
為此，他采取“擠牙膏”的方式，每次開庭之後，他就將所查爭點寫出一個結論，慢慢累積。然後在辯論終結後的5天內，重新整理、補充、修訂、總結。最後一晚，他足足寫了一夜，直到天亮。