另外，聯邦德國（西德）建立後，1949年9月，大批被盟國軍事法庭判刑的納粹罪犯被特赦，或是由死刑改判為有期徒刑。1951年，一項相關法律生效，使得因納粹曆史被停職的公務人員又可以進入原來的部門工作。1955年，盟國與西德達成一項協定，在戰後連續訴訟中已經結案的，不能由德國司法機構再次審理。
此外，冷戰背景下，美國和其他西歐國家為得到西德的幫助，對此事也奉行“忽略和寬恕”策略。就如紐倫堡的訴訟律師羅伯特·肯普納所說，像得了“寬恕熱病”一樣。
更不必說那些級別更低的集中營“小嘍囉”了。盟軍占領德國後，他們中的很多人混進了“難民”隊伍。即便原名可能會出現在盟軍的通緝名單中，改名換姓後，他們依然得以離開德國來到英國、美國等地，隱藏身份開始新的生活——9月末即將接受審判的漢斯·利普西斯，就是這樣以“難民”身份來到美國定居，還獲得了美國國籍。
這一切導致紐倫堡審判之後的十幾年間，西德對納粹罪犯審理和判決案例數量急劇減少。
不過，刑事追訴並未完全停止。在以色列和猶太團體的壓力下，1958年，上百名參與殺害猶太人的納粹軍官被起訴和公開審判。
由於審判地點位於巴登符騰堡州的烏爾姆市，因此也被稱作烏爾姆審判。
烏爾姆審判帶來一個變化——檢察官不僅僅將那些被告發的罪犯繩之以法，而且主動追查和揭露了一些隱藏著的納粹罪犯。烏爾姆審判的首席檢察官舒勒就通過親自查閱檔案，將9名罪犯推上被告席。
與此同時，審判通過媒體的連續報道引起強烈反響，引發了公眾對德國司法失職的指責，而德國人對反省納粹曆史的態度第一次發生重大轉變。
不再對追訴時效設限
除卻來自外國的壓力，德國司法機構有識之士的努力也推動了清算納粹的過程。弗裏茨·鮑爾就是少數幾個在戰後堅持要追查納粹罪行的德國法官之一。
鮑爾是個猶太人，二戰期間被迫流亡海外，在西德建立後回國。1952年的一次審判讓他一舉成名——他給1944年7月20日試圖謀殺希特勒的一個組織正名，宣布他們的行動合法。在判詞中，他指出納粹德國“不是法治國家，而是非法治國家”。
在追查納粹罪行的過程中，鮑爾並不信任自己也任職其中的國家機構。“隻要一離開辦公室，就感覺身處一個敵對的外國。”“他最緊密的盟友、黑森州州長喬治·奧古斯特·齊恩曾是納粹衝鋒隊（SA）成員。”現任弗裏茨·鮑爾研究所所長格羅斯說，“納粹罪行調查中心成立後，第一任負責人還曾經是納粹黨（NSDAP）黨員。”
正因如此，1960年，奧斯維辛幸存者、已移居阿根廷的魯塔·赫爾曼給鮑爾寫信，稱在阿根廷發現了大屠殺“最終解決方案”主要負責人阿道夫·艾希曼後，鮑爾繞過西德政府，直接與以色列情報機構摩薩德聯係，告知對方艾希曼在阿根廷的地址。
艾希曼最後被摩薩德抓獲，並在以色列耶路撒冷被判處死刑。因將其逮捕的方式類似綁架，一度引發阿根廷與以色列的外交糾紛。
而在納粹受害者心目中，鮑爾自此成為最完美的鬥士。
1950年代中期，一份裝載著37名奧斯維辛前黨衛隊軍官的調查材料被寄到鮑爾的辦公桌上。在與調查材料的搜集者——一名西德記者取得聯係後，鮑爾著手為推動針對納粹分子個人的審判做準備。
為讓大規模審判成為可能，已經是黑森州總檢察長的鮑爾按捺住衝動，正式向聯邦法院提起訴訟，申請審判二戰期間的帝國保安部（黨衛軍下屬的情報機關）、黨衛軍和集中營工作人員。
1959年，在國際奧斯維辛委員會主席赫爾曼·朗白的遊說下，西德最高法院對此予以批準。
準備過程中，鮑爾領銜的檢察官團隊參閱了4000多種文獻資料，動員了19個國家的359個證人到庭提供證詞，其中包括211個大屠殺的幸存者。鮑爾還通過慕尼黑當代曆史研究所專家們的幫助，獲取了相當多的大屠殺證據。
成立僅一年不到的路德維希堡納粹罪行調查中心也加入進來。“重點查找的是各個國家的移民檔案，”該中心現任負責人施瑞姆解釋道，“那些1945年至1955年移民的男性可能會隱瞞自己的納粹背景。”
1963年12月20日，法蘭克福審判第一次開庭審理。其後，1963-1968年，審理陸續進行，一直到1981年正式結束，涉及個人的訴訟多達400起。
庭審期間，有前黨衛軍軍官在法庭上為自己的罪行進行辯護，稱自己“是下級，不得不執行上級的命令，並沒有主動殺人”。但不斷揭露的證據表明，他們中的不少人不僅是奧斯維辛集中營大屠殺的積極參與者，更是指揮者。