時明帝作相，因謂淹曰：“君昔在尚書中，非公事不妄行，在官寬猛能折衷；今為南司，足以震肅百僚。”淹答曰：“今日之事，可謂當官而行，更恐才劣誌薄，不足以仰稱明旨耳。”於是彈中書令謝朏，司徒左長史王繢、護軍長史庾弘遠，並以久疾不預山陵公事；又奏前益州刺史劉悛、梁州刺史陰智伯，並贓貨巨萬，輒收付廷尉治罪。臨海太守沈昭略、永嘉太守庾曇隆，及諸郡二千石並大縣官長，多被劾治，內外肅然。明帝謂淹曰：“宋世以來，不複有嚴明中丞，君今日可謂近世獨步。”
明帝即位，為車騎臨海王長史。俄除廷尉卿，加給事中，遷冠軍長史，加輔國將軍。出為宣城太守，將軍如故。在郡四年，還為黃門侍郎、領步兵校尉，尋為秘書監。永元中，崔慧景舉兵圍京城，衣冠悉投名刺，淹稱疾不往。及事平，世服其先見。
東昏末，淹以秘書監兼衛尉，固辭不獲免，遂親職。謂人曰：“此非吾任，路人所知，正取吾空名耳。且天時人事，尋當翻覆。孔子曰：‘有文事者必有武備。’臨事圖之，何憂之有？”頃之，又副領軍王瑩。及義師至新林，淹微服來奔，高祖板為冠軍將軍，秘書監如故，尋兼司徒左長史。中興元年，遷吏部尚書。
二年，轉相國右長史，冠軍將軍如故。
天監元年，為散騎常侍、左衛將軍，封臨沮縣開國伯，食邑四百戶。淹乃謂子弟曰：“吾本素宦，不求富貴，今之忝竊，遂至於此。平生言止足之事，亦以備矣。人生行樂耳，須富貴何時。吾功名既立，正欲歸身草萊耳。”其年，以疾遷金紫光祿大夫，改封醴陵侯。四年卒，時年六十二。高祖為素服舉哀。賻錢三萬，布五十匹。諡曰憲伯。
淹少以文章顯，晚節才思微退，時人皆謂之才盡。凡所著述百餘篇，自撰為前後集，並《齊史》十誌，並行於世。
子筼襲封嗣，自丹陽尹丞為長城令，有罪削爵。普通四年，高祖追念淹功，複封筼吳昌伯，邑如先。