完成任務後，SS第4“元首”裝甲擲彈兵團和師屬炮兵團在SS第2裝甲團剩餘坦克掩護下，拚命向多瑙運河防線方向靠攏。這是一段文字難以描述的血腥戰鬥，但絕不是一場一邊倒的戰鬥，SS第2裝甲團的豹式和Ⅳ號坦克在巷戰中擊毀了不少蘇軍裝甲車輛，甚至一度逼退追兵。盡管如此，麵對占據壓倒性優勢的蘇軍，帝國師也僅僅在運河防線上堅持了一小會，就被迫後撤。
4月9日，就在弗洛裏茨多夫大橋被炸毀前4天，帝國師仍勉強守住了從阿斯佩恩運河大橋至（北麵）北橋以及多瑙運河和多瑙河交彙河段到普拉特遊樂場大街之間的大片陣地，兩個減員到隻有營級兵力的裝甲擲彈兵團正在沿途的房屋和體育館四周的戰壕裏做垂死頑抗。與此同時，從南麵殺過來的蘇軍近衛第4集團軍下屬的近衛步兵第20軍沿著多瑙河向普拉特區挺進；近衛坦克第6集團軍下屬的近衛機械化第9軍也在2個步兵師的支援下從西、南兩麵殺向了阿斯佩恩運河大橋和奧加滕運河大橋；近衛坦克第5軍則從西北麵逼近弗洛裏茨多夫大橋。此外，馬林諾夫斯基元帥的烏克蘭第2方麵軍下屬第46集團軍也出動1個近衛機械化軍（近衛機械化第2軍）和2個步兵軍從多瑙河東岸渡河，準備封鎖維也納守軍的逃生道路。麵對如此壓倒性的力量，防線被衝得千瘡百孔的德軍被迫於4月10日淩晨炸毀了多瑙運河和多瑙河上的所有橋梁（除了弗洛裏茨多夫大橋和帝國大橋）。維也納的城防指揮官馮·布瑙步兵上將是最後一個通過阿斯佩恩運河大橋向東北城區撤退的人。
帝國師撤過運河後，開始沿弗洛裏茨多夫大橋西岸布防，SS第3“德意誌”裝甲擲彈兵團在左，SS第4“元首”裝甲擲彈兵團在右。骷髏師和國防軍第6裝甲師的殘部則在帝國師的左翼展開，SS第2裝甲軍指揮官比特裏希把指揮部設在了多瑙河東岸的帝國大橋附近。
當蘇軍隨後試圖靠近弗洛裏茨多夫大橋時，SS第3“德意誌”和SS第4“元首”裝甲擲彈兵團殘存的官兵進行了頑強抵抗，絕望的擲彈兵們寸土必爭，每棟房子、每間屋子都要經過反複爭奪才能易手，該橋將一直堅守到最後一名德軍撤出為止，擲彈兵們甚至拆下有軌電車的鐵軌，堆成堡壘做最後抵抗。進攻的蘇軍部隊必須要以反坦克炮直接命中才能摧毀這些五花八門的工事。帝國師在10日晚擋住了蘇軍的數次猛攻，並對其造成了不小的損失。迫使蘇軍短時間內甚至無法靠近橋口，隻能不斷的利用迫擊炮的重炮轟擊帝國師的防線，削弱守軍意誌。此時全師仍擁有15輛豹式坦克、11輛Ⅳ號坦克、4輛Ⅳ號坦克殲擊車以及1輛獵豹和8輛Ⅳ號底盤的自行高炮。
4月11日，一直在普拉特區東南角堅守的國防軍第6裝甲師決定在退路未被切斷前，渡過多瑙河後退。SS第2裝甲偵察營也被調離原先陣地，跨過弗洛裏茨多夫大橋開赴北岸阻擊烏克蘭第2方麵軍下屬的第46集團軍，遲滯他們與烏克蘭第3方麵軍的會師速度以及保衛大橋的北端。而在大橋南段，帝國師終於堅持不下去了，守軍的陣地現在隻有不到500米寬，蜷縮在戰壕和殘垣斷壁的德國人正日夜不分地遭到炮擊的洗禮，一名幸存者寫道：
……我們朝西北麵撤退，占據了沿著運河展開的陣地，當我們剛抵達這裏的時候大部分房子還是完好無損的，但僅僅4天功夫俄國大炮和斯大林管風琴（指蘇軍的喀秋莎火箭炮）就把這裏炸成了一片廢墟……
最不可思議的是，即使是在戰鬥最白熱化的階段，不少適應了槍炮聲的維也納普通百姓們還是會去購物或在咖啡廳酒吧消遣。一名外國記者驚訝地看著兩種截然不同的生活所帶來的巨大反差：“他們（平民）就像在和平時期那樣安坐在咖啡廳裏喝著咖啡聊天，然而僅僅幾百米之外軍人們卻在前仆後繼！”盡管形勢不斷惡化，甚至絕望，但帝國師全體官兵仍然顯示出精銳部隊的素質。一名黨衛隊一級小隊長（二級軍士長）回憶道：
戰爭中最可恥的事情就是丟下行動不便的戰友獨自逃跑，他們一旦脫離大部隊就很難活下來。隻有叛徒和膽小鬼才該死。我們（師）在維也納整整戰鬥了一周，從沒有人想過逃跑。在混亂的戰鬥中，每個人都有的是機會當逃兵，但我們中絕沒有……為了報複在聖斯特凡大教堂（維也納市中心的哥特式教堂，被認為是其幾百年建築藝術大成之傑作）頂上升起的白旗，駐紮在比薩山的防空營同誌接到了摧毀這座古老的大教堂的命令，但他們拒絕執行了這道命令（帝國師大多數官兵都相信比特裏希軍長不希望整個城市在戰鬥中化為廢墟）。可惜大教堂還是被周圍起火的房屋帶燃，大火整整燒了5天5夜。