兵貴神速，陝西金軍隻在鄖陽城裏休整了一晚，留下了永興軍中的三個千人隊駐守鄖陽，主力便乘船沿著漢江順流而下，經過一日一夜航程，在穀城縣外東北麵的仙人渡渡口登岸。穀城也僅是一座縣城，城池規模並不比鄖陽大多少，然而城牆比起鄖陽縣厚了一些，共有六道城門，並且城外還有寬達三丈的護城河圍繞。而且穀城縣裏的守軍並未出城據守，而是全部都聚集在城牆上防守，因而這座城池儼然成了一塊很不好啃的硬骨頭。
憑著現有的兵力強行吃下穀城也不是不可能，完顏洪烈擔心的是如果三五日之內攻不下穀城，而房陵州過來的宋軍又趕到了，那時候金軍背腹受敵，連全身而退都做不到了。行軍判官趙秉文看得出完顏洪烈臉色的猶豫之色，便開口勸說道：“殿下如果害怕在房陵州的援軍到來之前攻不下穀城，現在就可以下令回軍了。可是現在如果下令回軍，不僅是攻不下穀城，連我軍已經攻下來的鄖陽和漫川鎮也必須還給宋國。隻要我軍不能攻占襄陽府，就無法瓦解宋軍在湖北全境的防禦，即使我軍一時占領了鄖陽，穀城，最終還是守不住。殿下從開始計劃進軍襄陽的時候，就應該知道這條路是不能回頭的啊。”
完顏洪烈聽取了趙秉文的勸說，他知道自己從出上洛之後就已經是過了河的卒子，除非能夠取下襄陽，否則即使是死，也沒有機會再回頭。這次對穀城縣的攻擊，他沒有再將兵力分散部署到五個城門，因為分散攻打五個城門，攻擊每個城門的軍力就隻有六千多人，而六千多兵力攻城的強度恐怕不足以迅速地在一兩日內摧毀宋軍的抵抗意誌。完顏洪烈將攻擊點集中於穀城縣的西門和北門兩個城門，每個城門動員了一萬多兵力攻城，轟擊每個城門的大炮數量也多達了七門，並且還命令工兵砍伐穀城周邊的樹木來製作雲梯，箭台和攻城錘。
七炮齊鳴的攻城場麵極為震撼，穀城城門上的宋軍在大炮造成的巨大傷亡麵前也混亂了一陣，然而有穀城縣令帶著家將親軍手拿大刀在城牆上督戰，宋軍雖然畏懼也不敢不繼續堅守，最終宋軍的陣腳穩定下來，宋軍的戰士們冒著金軍的炮火將弓箭射向城下來犯的金軍。而城下攻城的金軍戰士盡管一個又一個倒在宋軍的弓箭之下，他們還是冒著密集的箭雨，將雲梯橫擺在穀城縣的護城河上，搭起通往穀城城門的道路。接著便有十幾名金軍戰士給護城河上的雲梯再鋪上一層木板，這樣裝有攻城錘的戰車便能夠通過臨時搭建木板橋直抵城門了。
伴著攻城錘的重擊，城門不住地發出讓人戰栗的巨大響聲，城裏的宋軍意識到城門即將要堅持不住了，城門後麵那些被知縣高價雇傭來運送石頭和弓箭的民夫聽見隆隆的炮聲和城門的嘎吱聲，漸漸有一兩個人慌了，丟下手裏的物資飛快地往城內跑，一邊跑還一邊大聲喊：“金兵就要入城了，大家乘早快跑啊，再不跑就來不及了。”宋軍的全部軍力都被知府繆夢達派往城門上防守了，連捕頭和衙役都沒有留在市區中維持秩序。因而在城西，城北與金兵陷入苦戰的宋軍卻不知道，就在他們的後方市區，城內的數萬民眾已經自發地彙聚成了一股大軍逼近了穀城縣的東門。有些登上了城牆的民眾已經發現穀城縣的東門和南門外麵根本沒有金軍，因而民眾憤怒地要求守將立刻開城放他們出去。
穀城東門和南門的主要兵力已經被抽調去防守西門，北門，如今留在東門和南門上的守軍都隻有一百餘人，由一個沒有品級的散值帶領。守衛東門的吳散值比較忠義，說什麼都不肯打開城門，當場就被幾百名壯士打成了豬頭，倒在地上一句話都說不出來，城門還是被手下的軍士門打開了。而守衛南門的李散值則比較靈活，當場就扔掉了頭盔和鐵甲，打開城門混在萬千老百姓人群中一塊逃了出去。
金軍布置在穀城縣東門和南門外的斥候注意到城裏有大批民眾逃出來，迅速將這一情況報給了正在西門指揮作戰的完顏洪烈。完顏洪烈自己也被這一突發事件給嚇住了，他從來沒想到過居然會有這麼荒謬的事情，官軍還在前麵拚死抗敵，後方的百姓居然就開城逃跑了。“宋國百姓有必要害怕成這副摸樣嗎？我軍可沒有屠城啊。”完顏洪烈知道穀城縣裏既然這種事情都能發生，城內宋軍鐵定是守不住了，可他心裏還是覺得鬱悶：“我們金軍沒有這麼可怕吧。”納蘭胡魯剌將軍剛剛從前方回來，聽了完顏洪烈的話便搖搖頭說道：“金宋之間承平八十多年了，如今的金軍確實軍紀嚴明不許屠城了。可是要說我軍的黑曆史，即使不說到粘罕，兀術兩位老王爺時期，就說當初海陵王南下時，燒殺擄掠的事情還時常發生呢。”