大部分的維也納人在迫近的戰火麵前，顯得十分消極，因為他們並不願意看見自己的首都在你死我活的巷戰中化為廢墟。一部人還把蘇軍的到來看成是將祖國從納粹鐵蹄下解放出來的惟一機會，這其中的核心人物是布瑙將軍的副官之一，參與製定巷戰計劃的斯佐科爾少校，他打算在4月6日中午12點30分發動武裝起義，為蘇軍進城打開通道。此次行動的主幹力量是數個奧地利突擊步兵營以及一支駐在施托克勞市的克羅地亞人預備訓練營。此外，斯佐科爾少校還召集了至少2萬名維也納市民（其中武裝了6千人），4月2日至3日夜間，抵抗組織聯絡人與蘇軍司令托爾布欣元帥取得聯係，並提出了該計劃。托爾布欣元帥原則上接受了這一便利蘇軍進入維也納的計劃。但不幸的是，這個秘密在最後關頭走漏了風聲，城內的SS第2裝甲軍火速行動，圍捕了三位來不及起事的抵抗領導人——卡爾·彼德爾曼，阿爾費雷德·胡特和魯道夫·拉施科，他們的屍體沒多久就被掛在了弗洛裏斯多夫大橋的燈柱上。
大難降至，有些人徹底絕望了：魯道夫·哈布斯堡就是其中一分子，這位弗朗茨·約瑟夫皇帝惟一的兒子曾為了能將維也納從親德分子手中拉出來，在英、美兩方之間奔走斡旋，可如今所有的夢想都灰飛煙滅了，眼看著自己心愛的城市即將血流成河，絕望的皇子選擇了自殺，在他那17歲的紅顏知己——瑪麗·維特謝拉的懷中咽了氣，給這座麵臨著不幸的城市又多抹上了一絲悲情色彩。
令維也納人膽戰心驚的這一天終於到來了，4月6日清晨，蘇軍正式展開對維也納的總攻，炮彈呼嘯著落在市中心，馬路上的老百姓尖叫著四處逃竄，哭喊聲混作一團。蘇軍的攻擊機也飛臨城市上空，城內四處頓時響起淒厲的空襲警報，駐紮的德軍第24高炮師慌忙迎戰，天空中炸開團團黑煙。炮火準備和空襲剛一平息，地麵部隊開始進攻了，加強有近衛機械化第1軍的近衛第4集團軍和近衛第9集團軍下屬的近衛步兵第39軍首先一道朝維也納西郊和南郊推進，擋在他們麵前的是幾近崩潰的SS第2裝甲軍——該軍當時下轄帝國師，骷髏師，第6裝甲師和元首擲彈兵師，3個裝甲師全部加在一起僅有區區28輛坦克和3737人，而元首擲彈兵師的全部兵員直到4月8日才全部抵達維也納。蘇軍開始的進展很順利，基本沒有遇到什麼像樣的抵抗，可剛一抵近城區，激烈的攻防戰頓時爆發了——南麵法伏裏特大街和齊梅林格的爭奪尤為激烈：骷髏師和近衛步兵第20軍圍繞著維也納中央公墓的街道、溝渠乃至墓碑間展開血戰，麵對兵力不過千餘人的骷髏師部隊，蘇軍士兵甚至要插上刺刀數次衝鋒，才能拿下一處據點，雙方均傷亡慘重。眼看招架不住，骷髏師派出一支小分隊闖入後方的維也納燃氣總廠，試圖爆破以免其落入敵手。在西南麵，帝國師在其裝甲團剩餘坦克的掩護下退到了前奧匈帝國皇宮所在地——美泉夏宮公園，準備從左翼牽製住近衛步兵第39軍。一位名叫漢斯·豪澤的一級突擊隊大隊長參加了4月初的阻擊戰，日後他在回憶錄中這樣寫道：
3月底的時候，我奉命帶上我的殘餘部隊和‘庫瑪’訓練營的新兵們，乘火車前往布拉格南麵的貝內施奧。經過一番行程後，我們和‘基恩施拉格’黨衛軍士官學院的學員們一道最終抵達了帝國的‘要塞’——波希米亞和摩爾維亞保護國。在等待新命令的那段時間裏，我的部下們被調到了其它部隊。然後又過了幾天，我接到了柏林下達的調令，要我立即接管SS第13彎刀師的一個團長職務，但是一開始我甚至都不知道這支隊伍在哪裏作戰，最後還是在從布拉格開往維也納的補給列車上才查到了這個團的戰地郵局編碼，於是我就搭上這列火車出發了。可就在抵達維也納後，又有件事情讓我吃了一驚——一道特別‘元首令’要求斯泰內爾黨衛軍將軍接管所有經過維也納的火車上的全部無論軍銜高低的軍人。這麼一來，我原來的那道調令也就作廢了，所有人都集結到美泉夏宮的機動車學院。在這裏我得到正式通知，我在“彎刀”師的任命被取消，鑒於我軍在匈牙利的危急戰局，我將指揮一個新的戰鬥群。陸續不斷的有軍人集中到美泉夏宮，大部分是剛剛複原的傷病員，另外的則是跟我一樣奔赴新崗位的官兵們。幸運的是，這些人當中還有少量戰功卓著的老兵。他們對組建新戰鬥群幫助極大。幾天時間裏，我就把人員組織起來了，但大家手中隻有普通的步兵武器：步槍、刺刀、衝鋒槍、手榴彈和“鐵拳”反坦克火箭筒。