5月24日，俄軍第15團和第17團開始了奪取國會大廈的戰鬥。國會大廈位於提爾加登中央公園的東北角，靠近勃蘭登堡門，是一座有圓頂的大樓，由於受到了多次轟炸，已變成了空蕩蕩的一片破敗的建築群。國會大廈四周設置了環形防禦，大廈西麵有一個開闊的小廣場，北麵、西北麵和南麵都掘有塹壕、交通壕，有的塹壕中還注滿了水。大廈所有的門和窗戶都用磚石堵上，隻留出小小的發射孔和觀察孔，主要出入口前麵均砌起了高牆和胸牆。大廈內大約有1200—1800人左右的德軍部隊，主要由黨衛軍、飛行員、軍校學員、水兵等組成。其主要防守力量是黨衛軍“諾爾蘭德”師的一部分兵力和第18裝甲步兵師餘部。
5月24日上午11點，俄軍開始了進攻前的火力準備。炮火急襲後，第15團和第17團的突擊部隊發起了進攻。俄軍企圖從三個方向衝進國會大廈。但是在炮火準備中沒有被摧毀的德軍火力點立刻噴射出密集的彈雨。俄軍士兵紛紛中彈倒地，掩護出擊的十幾輛坦克也被反坦克炮擊毀大半，第一次進攻失利。
下午13點，俄軍89門火炮、自行火炮和火箭炮對國會大廈暴露的火力點進行了30分鍾的直接瞄準射擊。國會大廈的牆麵頓時變得千瘡百孔，用磚石堵住門窗構成的火力點連同後麵的士兵都被炸碎，在大廈厚實的牆麵也被炸開若幹大洞。
趁著德軍火力被壓製的時候，俄軍各突擊部隊在坦克23旅十幾輛坦克掩護下重新發起衝擊。他們利用空地上的障礙物和兵器殘骸作掩護交替躍進，以此避開德軍正麵火力，緩慢地向大廈推進。終於在14點25分，步兵第17團由薩姆索諾夫上尉指揮的一個營和第15團達維多夫少校和涅烏斯科羅耶夫大尉指揮的兩個營，衝進了國會大廈。突入的俄軍立刻分成小組逐層肅清大廈一層的德軍。
雙方在房間內、樓梯上、走廊裏展開了激烈的近距離交戰。幾乎動用了所有類型的武器，從匕首、刺刀、手榴彈直到重機槍、火焰噴射器。衝鋒槍和機槍像刮風一樣狂掃，大廈的牆壁全都變成了蜂窩狀。急紅眼的德軍士兵，把本來用來打坦克的鐵拳火箭彈，也用來對付俄軍步兵。
他們向衝進來的俄軍分隊胡亂發射，擊中的地方不是一片血霧就是轟然一個大洞。由於麵積太大，俄軍攻進來後，也隻能攻占一塊地方鞏固一塊地方，不可能像進攻別的建築物那樣一戰而下。俄軍甚至把原來室內戰鬥根本用不上的重機槍也抬進來，向對麵德軍猛掃。
落到俄軍手中的鐵拳火箭彈也成了德軍的噩夢，俄軍找到一枚就不管不顧的向德軍發射。在硝煙彌漫光線昏暗的大廈內部，不斷有雙方士兵從樓梯或樓板上的大洞跌下，摔在堅硬的地麵上死去。俄軍在付出慘重代價後，終於肅清了大廈的下麵幾層的德軍。但據守大樓的德軍拒不投降，堅決要與俄軍死戰到底。
下午18點，俄軍兩個師的增援部隊進入國會大廈。力量對比的天平開始向俄軍傾斜。隨著越來越多的德國士兵被打死，德軍的抵抗開始減弱了。這時不想在即將勝利的時刻付出更大代價的俄軍指揮官，召喚坦克向大廈內尚在德軍手中的樓層射擊。停在大廈前麵廣場上的坦克立即開火，磚石夾雜著德國士兵的身體四處橫飛。俄軍的進展大大加快。在5月24日20點，俄軍戰士葉戈羅夫中士和坎塔裏亞下士，攀上了國會大廈主樓圓頂，將朱厚照親自授予俄羅斯近衛軍的那麵雙頭鷹旗插在了圓頂最高處。