早在1945年3月底，維也納人就已經多少感覺到了前方巴拉頓湖的災難，盡管報紙上很少公開報道來自東麵日益迫近的威脅，但是一種惶恐的氣氛還是籠罩在整座城市上空。德國駐維也納的帝國總督兼帝國防禦委員會委員巴爾杜爾·馮·席臘赫簽署了戒令：“每個德國人都要全心投入，奮戰到底，任何玩忽職守者都將收到嚴懲。”3月31日又下令任何維也納市民“未經允許”都不得擅自離城。市內緊急招募了國民突擊營，所有學校都於4月1日停課關門。4月3日，席臘赫在維也納電台對全城市民進行了一番簡短的戰前動員：“維也納的市民們，考驗的時間即將來臨了。俄國人，這群奧地利曆史上一直以來的死敵正在逼近我們的城市。我們的每一個人都必須盡守職責。每一個幫手都將得到歡迎……”
兩天前，剛剛撤出匈牙利不久的帝國師奉命在新錫德爾湖和多瑙河之間建立防禦陣地。不久後，萊曼師長就接到了進駐維也納的命令。4月4日，蘇軍烏克蘭第3方麵軍占領了巴登，因此獲得了一個從西南兩個方向包圍維也納的理想基地。在此期間，骷髏師曾發動了幾次小規模反擊，為該師主力和其他部隊爭取了撤退時間。
4月5日，駐守在維也納市區的萊曼師長收到了來自元首本人的命令，“從現在起，再沒有撤退。”同一天夜裏，蘇軍烏克蘭第3方麵軍司令托爾布欣元帥也完成了對維也納最後總攻的所有部署：近衛第4集團軍將從城市的南角攻打市中心，然後朝弗洛裏斯多夫推進，近衛坦克第6集團軍則以近衛坦克第5軍為矛頭直插維也納西北角，同時下轄的另一支機械化部隊——近衛機械化第9軍則由西麵進行包抄，切斷城內的德軍逃往瓦豪，然後再從當地退向薩爾茨堡的通道。
對帝國師來說，主要任務就是保證維也納以及當地幾座跨越多瑙河的橋梁的安全。戰鬥率先在SS第4“元首”裝甲擲彈兵團的陣地上打響。4月初，蘇軍烏克蘭第3方麵軍一部向位於利奧波德斯多夫的該團陣地發起了試探性進攻，意圖探明防線的薄弱處，然後再投入主力部隊一舉突破。身經百戰的黨衛軍老兵對這一戰術早已爛熟於胸——蘇軍在試探性進攻之後必然是大規模毀滅性炮擊。所以在打退這次佯攻之後，師主力和SS第4“元首”裝甲擲彈兵團集體從利奧波德斯多夫撤向了維也納城南的弗森多夫，避免了被無數炮火“照顧”的命運。隻是帝國師還沒來得及喘口氣，蘇軍就殺了過來，切斷了利奧波德斯多夫—弗森多夫的道路，導致SS第4“元首”裝甲擲彈兵團一度與師裏失去了聯係。蘇軍的這次進攻成功的在維也納以南的SS第3“德意誌”裝甲擲彈兵團和SS第4“元首”裝甲擲彈兵團防線之間打開了一道缺口，戰局再次陷入危急之中。
根據情報，蘇軍大量的步兵和裝甲部隊正從這個缺口湧入。幸運的是，一個由傷愈歸隊的士兵和預備役新兵倉促組成的“豪澤戰鬥群”剛好堵住了位於明興多夫的這道缺口。這次成功的外圍阻擊戰對為帝國師乃至整個維也納守軍都爭取了不少寶貴的時間。該戰鬥群的指揮官二級突擊隊大隊長（少校）漢斯·豪澤在後來的回憶錄中寫道：
3月底的時候，我奉命帶上我的殘餘部隊和“庫爾馬克”訓練營的新兵們，乘火車前往布拉格南麵的貝內紹夫。經過一番行程後，我們和“基恩施拉格”黨衛軍容克學校的學員們一道最終抵達了帝國的“要塞”——波希米亞和摩拉維亞保護國。在等待新命令的那段時間裏，我的部下們被調到了其它部隊。然後又過了幾天，我接到了柏林下達的調令，要我立即接管SS第13“聖刀”山地師的一個團長職務，但是一開始我甚至都不知道這支隊伍在哪裏作戰，最後還是在從布拉格開往維也納的補給列車上才查到了這個團的戰地郵編，於是我就搭上這列火車出發了。可就在抵達維也納後，又有件事情讓我吃了一驚，一道特別“元首令”要求黨衛軍上將施泰納接管經停維也納的列車上的所有軍人，無論其軍銜高低。這麼一來，我原來的那道調令也就作廢了，所有人都集結到位於美泉宮的機動車學校。在這裏我得到正式通知，鑒於我軍在匈牙利的危急戰局，我將指揮一個新的戰鬥群，先前在“聖刀”師的任命取消。陸續不斷的有軍人集中到美泉宮，大部分是剛剛複原的傷病員，另外的一些則是跟我一樣奔赴新崗位的官兵。幸運的是，這些人當中還有少量戰功卓著的老兵。他們對組建新戰鬥群的幫助極大。不到幾天的時間裏，我就把人員組織起來了，但大家手中隻有普通的步兵武器：步槍、刺刀、衝鋒槍、手榴彈和鐵拳。