蘭州是西北第二大城，是控製甘、寧、青、新四省的戰略要地，也是西北的政治和軍事中心。攻克蘭州，就能促使整個大西北迅速解放。
蘭州城南北環山，滔滔黃河自西向東貫穿而過，處在狹窄的盆地上，盆地南大北小，城在南岸。蘭州是座古城，經曆代不斷修築，到解放前，已是城中套城的格局在原有方城之上，除了北麵是黃河無處發展外，分別向東、西、南三個方向建有長方形的城郭，這三個城郭，又是東、西長，南麵短，整個城看起來就像是拉長的“品”字形’僅外城就有11個城門。城西有座建於清末的大鐵橋。無論從橋的年齡還是從它離河源的距離來說，它都是當之無愧的“萬裏黃河第一橋”，其軍事價值不言而喻。
蘭州城南是山的叢林和海洋，從東向西，依次為十裏山、竇家山。
古城嶺、馬家山、皋蘭山、沈家嶺、狗娃山。這些黃土高山一字排開，構成蘭州的天然屏障。十裏山、古城嶺、馬家山和皋蘭山上還分布著抗戰時期修的永久性工事。其中沈家嶺離黃河鐵橋較近，又與狗娃山一起扼守著兩條南去的公路，一條通阿幹鎮，一條通臨洮、臨夏，是“蘭州的鎖鑰”。皋蘭山是蘭州城南的最高峰，也被視為最大的屏障。此山相對高度五百米，站在山頂，可俯瞰蘭州城，東可見十餘裏外的東崗坡，西可見河口鎮。自古以來，統治者以為欲保蘭州，必先鞏固皋蘭山。
為了死守蘭州，馬步芳用他的精銳八十二軍所屬的三個師分別守衛蘭州南山三大主陣地。以一〇〇師和青海保安團守衛東麵的馬家山一線，以二四八師守衛正南的皋蘭山，以一九〇師守衛沈家嶺和狗娃山。以馬步鑾的一二九軍的兩個師為預備隊，將新一師部署在東麵的拱星墩，為一〇〇師的預備隊；將三五七師部署在西關七裏河。
用於支援沈家嶺；一個美式裝備的榴彈炮營配置於東教場，甘肅保安部隊的三個團駐守東崗和城內。總兵力為五萬。又以新編騎兵軍駐守河州一帶，防守青海老家門戶；以騎八旅、騎十四旅和五個步兵師的騎兵團位於黃河北岸一線，策應蘭州和臨洮方麵作戰。馬步芳的兒子馬繼援在黃河北的廟灘子坐鎮指揮。
這樣部署，既表明了馬步芳死守蘭州的決心，也給了彭德懷殲滅其主力的機會。
彭德懷集中優勢兵力打殲滅戰，其部署是以十九兵團的六十三軍、六十五軍攻擊城東的馬家山一線之敵；以二兵團的六軍攻擊正南的皋蘭山之敵；以四軍攻擊城西的沈家嶺和狗娃山之敵；以三軍為野戰軍預備隊，待馬繼援預備隊用盡時，從蘭州以西向東攻擊，搶占黃河鐵橋，斷敵退路。馬步芳用五個師防禦，彭德懷就用五個軍攻擊，基本上是以我一個軍打敵一個師。
彭德懷知道，每個軍的任務都是艱巨的，麵對的都是青馬的主力部隊，他們沒有受過我軍的重創，又深受反動宣傳的毒害，打仗時，“前有敢死隊，後有督戰隊”，是一群非常凶殘的亡命徒。
馬家軍素有殘暴和嗜殺的惡名，這也與他們殘殺俘虜暴行有關。2年，馬步芳派兵鎮壓果洛貢麻部的反抗，馬元海部一天就割了男女牧民80顆人頭，對反抗頭領或殘殺，或砸斷踝骨關人監獄；2年，馬家軍在查朗灘將男女60人包圍，12天不給吃喝，活活將其餓死，並將12名僧侶當活靶子亂槍打死，又將10名留長發的牧民用布裹頭，澆人滾沸酥油，像點天燈一樣活活燒死。最為血腥、野蠻和殘暴的是6年對紅軍西路軍一萬多名俘虜的屠殺。馬家軍用紅軍的鮮血換得了蔣介石的垂青。
彭德懷決心用九個團的兵力進行一次偵察性攻擊。
21日拂曉，各軍全線發起攻擊，血戰一天。發現三個方向，塊塊都是硬骨頭，我軍竟沒有奪取一個陣地。
首次攻擊失利，使馬繼援忘乎所以，他給部下打氣，狂妄地說：“我要在蘭州城下活捉彭德懷。”
得知首次攻擊受阻，毛澤東給彭德懷發報，提出休整一星期或是更多時間的建議。而彭德懷認為，蘭州攻堅戰是在空前的長途追擊作戰之後進行的，參戰部隊軍需給養自籌自帶，又因連續作戰，一些部隊嚴重減員’糧食不足’戰士們的體力早已透支，久拖不利。於是，他下定決心，隻給部隊三天時間準備，然後，再次發動攻擊，爭取一舉攻克蘭州。他給毛澤東發報，報告25日晨開始攻擊的決心，並說攻城“已有七八成把握”。