4月6日清晨，蘇軍正式展開了對維也納的總攻，炮彈呼嘯著落在市中心，馬路上的老百姓尖叫著四處逃竄，哭喊聲混作一團。蘇軍的對地攻擊機也飛臨城市上空，城內四處頓時響起淒厲的空襲警報，駐紮的德軍第24高炮師慌忙迎戰，天空中炸開團團黑煙。炮火準備和空襲剛一平息，地麵部隊開始進攻了，加強有近衛機械化第1軍的近衛第4集團軍和近衛第9集團軍下屬的近衛步兵第39軍首先一道朝維也納西郊和南郊推進，擋在他們麵前的是幾近崩潰的SS第2裝甲軍（下轄帝國師、骷髏師、第6裝甲師和元首擲彈兵師），該軍的3個裝甲師全部加在一起僅有28輛坦克和3737人，而元首擲彈兵師的所有兵員直到4月8日才全部抵達維也納。
蘇軍的進攻一開始非常順利，基本沒有遇到什麼像樣的抵抗，可剛一抵近城區，激烈的攻防戰頓時爆發了。南麵法福裏滕大街和錫梅林格大街的爭奪尤為激烈，骷髏師的屈恩戰鬥群與蘇軍近衛步兵第20軍圍繞著維也納中央公墓附近的街道、溝渠乃至墓碑間展開血戰，麵對兵力不過千餘人的骷髏師殘部，蘇軍士兵甚至要插上刺刀，發動數次衝鋒，才能拿下一處據點。骷髏師戰鬥群的老兵用鐵拳擊毀了蘇軍打頭的12輛坦克中的10輛，一直到蘇軍又投入1個近衛傘兵師才被迫撤退。
與此同時，蘇軍近衛坦克第6集團軍下屬的近衛機械化第9軍也派兵分別殺向了維也納西麵和西南麵，其中西南麵的部隊在殺入城區後，試圖向東北方向挺進，但遭到了當麵元首擲彈兵師的頑強抵抗。另一路進攻部隊也派出一支機械化偵察分隊穿過維也納森林的帝國師右翼防線，深入維也納西郊。由於德軍兵力不足，這支偵察分隊輕鬆繞過了帝國師的防禦據點，從元首擲彈兵師和帝國師防線結合部向西火車站挺進。SS第2裝甲炮兵團當時就駐紮在西火車站南麵（美泉宮東北），負責掩護全師的北肩角。該團的海德·魯爾後來回憶道：
我們在（維也納）第15區外圍每一條南北走向的道路上都部署了一門炮和一挺機槍（每處5人），因為這裏凹凸不平的鵝卵石地麵可以很好地抵消火炮開火後的後坐力。我們還在這裏重新調整了編製，營裏剩下的所有火炮直接合並成了一個超大的連。通信單位也采用類似的方式重組了，因為我們缺乏足夠的指揮官，隻好盡量集中指揮了。
由於我學生時代就熟悉這座城市，上級派我去找一些維也納地圖。師長需要這些地圖來決定到底在哪裏打最後一仗。這段旅程充滿了危險，許多地方都已經被敵人占領，而且當地人組成的遊擊隊會向我們所有的軍用車輛開火。終於，我在一個舊的騎兵軍營裏找到了地圖。這個軍營的廣場隻有一點點大，上麵散亂地堆放著一些打開的彈藥箱。我在其中一棟建築的頂樓上碰到了一個老上校，說明來意後，他慷慨地給了我一堆軍用的維也納地圖。
在回去的路上，我親眼目睹了“元首擲彈兵師”的一支自行火炮部隊通過伏擊摧毀了俄國人一支由坦克和卡車組成的車隊，幸存的俄國人都四散跑進了附近房子。這批俄國人很可能是衝著我們（師）左翼去的。這樣看來，我們薄弱防線的後方也徹底暴露了。
當時蘇軍近衛機械化第9軍一部距離西火車站不到1公裏，幾乎切斷了帝國師的後路。魯爾回去路上看到的被伏車隊就是該軍前鋒部隊之一，再加上不斷從左翼向城區突進的蘇軍近衛步兵第39軍，帝國師隨時有被圍的危險。現在，師裏隻剩下了一條狹窄的逃生通道：從美泉宮經瑪麗亞希爾費大街至奧加滕。當天晚上，魯爾返回部隊後不久，萊曼師長就接到了火速撤向多瑙運河新防線的命令。對此，魯爾繼續回憶道：
我們跟隨師裏其它部隊在元首擲彈兵師殘餘突擊炮的掩護下，穿過針眼大小的逃生走廊向多瑙運河撤退。我們連在多瑙河和多瑙運河之間的奧加滕附近建立了防線。
SS第2裝甲偵察營則先期渡過多瑙河，進入弗洛裏茨多夫區。4月7日，蘇軍近衛坦克第5軍奪取了維也納最著名的也是最重要的格林青村，這裏距離橫跨多瑙河的弗洛裏茨多夫大橋僅僅4公裏。現在，所有在多瑙運河以西的德軍都有被圍的危險。萊曼師長當即下令炸毀運河上除奧加滕運河大橋和阿斯佩恩運河大橋之外的所有橋梁，並把前沿指揮部設在了奧加滕運河大橋附近。
根據4月8日早上南方集團軍群的記錄，SS第2裝甲軍（下轄帝國師、骷髏師、第6裝甲師）總共擊毀了39輛蘇軍坦克。萊曼師長也在當天的一次偵察行動中手臂負傷，打起了繃帶。到了晚上，SS第2裝甲軍逐漸放棄燃著熊熊烈焰的內城，撤過多瑙運河，擔任殿後任務的SS第4“元首”裝甲擲彈兵團與蘇軍步兵在環城大道（內城與外城的邊界）一帶展開了殘酷的巷戰，密集的大炮和迫擊炮炮彈將這條昔日繁華的大道以及周圍的卡特納大道、格拉本大道（維也納最漂亮的大街）、城堡劇院和維也納國立歌劇院化成一片火海。