麵對自己從軍以來遭遇的最大危機（就劉裕本人而言，雖然沒有當年在吳興“以一敵千”時那麼危險，但當時他就算輸了，也不過是一個下級軍官，現在他若輸掉此戰，晉朝馬上就得滅亡）。劉裕非常沉著，既沒有絲毫的畏懼退縮，更沒花片刻時間來躊躇遲疑，而是立即開始了緊張的戰前準備。
首先要麵對的問題是兵力不足。對此，劉裕相信重賞之下必有勇夫，宣布凡在此戰中從軍建功者，都依照京口起義的標準進行封賞，晉朝對京口起義有功人員的賞賜之豐厚，在當時是有名的。
現有的兵力應該如何使用呢？有人提議，分兵把守從曆陽到建康的各處關口，節節抵抗，讓盧循軍隊每前進一步都要打仗，這樣可以最大限度地拖延時間，等待後續的北伐軍返回。劉裕不愧為一代大軍事家，馬上敏銳地指出如此布局帶來的危害：“現在賊軍人數眾多，而我軍能戰的兵力很少，如果再分散到各個據點，則每處的兵力就更少，難以有效阻擋敵軍的行動。而且因為剛剛經曆豫章、桑落洲兩次大敗，城中軍民的士氣都很低落，所以隻要有一個據點的守軍被打敗，把守其他據點的軍隊都會變成驚弓之鳥，勢將不戰自潰！”然後，劉裕提出自己的方略：“現在不如幹脆放棄那些關口，將全部主力集中到石頭城，再根據敵人的行動相機而動，既使敵人難以判斷我軍虛實，也不易遭受挫敗。慢慢等後續援軍輾轉集結，再根據情況，調整部署。”
劉裕之所以將兵力集中於石頭城，是因為這裏的確是個兵家必爭的軍事要地。據說在著名的赤壁之戰前夕，諸葛亮奉命出使東吳，與孫權共商聯合抗曹的計劃。途經當時還不起眼的秣陵縣時，他對此地的山川形勢大為讚歎：“鍾山龍蟠，石頭虎踞，真乃帝王之宅也！”事實證明，諸葛亮的眼力的確非常好，在赤壁之戰後不久，孫權就將東吳的大本營遷到了這裏，開始擴建城池，並以“建功立業”之意，將秣陵改名建業（之後這個地方改名改得不亦樂乎，先後用過建鄴、建康、昇州、上元、集慶路等多個名字，直至改稱南京。在曆代南北對峙之時，南方王朝的首都多在此地）。為了充分利用當地有利的地勢，孫權又在建業城西清涼山（又稱石頭山）上修建了軍事要塞即石頭城。石頭城以清涼山山體為城基，陡峭的天然崖壁為城牆，環山築造而成，周長約三公裏，西、北兩麵可以監控長江，南麵可以扼住秦淮河口，地勢極為險要。它對建業城（即時的建康城）的重要性，類似於蒜山、金山之於京口。
定下迎戰方略之後，劉裕調集大批民夫，搶修了石頭城的防禦設施。同時，為了防止盧循艦隊突入秦淮河，他采納了龍驤將軍虞丘進的建議，砍伐大量樹木，沿秦淮河流入長江的入口打下大量木樁。同時為了給盧循軍登陸製造困難，還從石頭城開始，沿著長江江岸和秦淮河南岸，修築了一條長長的木柵欄。城中的兵器作坊也沒閑著，正在加急趕製一種威力強勁的新武器——萬鈞神弩。總之，盧循到達前幾天，在劉裕的高效組織下，建康全城的軍民都被調動起來，人人緊張備戰，嚴陣以待。
盡管盧循軍的行動有點兒拖遝，可在徐道覆的不住催促之下，還是沒讓劉裕等待太長時間。五月十四日，即第二次桑落洲會戰後的第七天，盧循大軍抵達建康城郊淮口。站在建康或石頭城城頭，都可以看到盧循那遮蔽江麵的龐大艦隊，於是建康全城宣布戒嚴！
在石頭城城樓上，劉裕的心情仿佛十五個吊桶打水——七上八下，萬分緊張地密切注視著盧、徐軍隊的行動。在此之前，劉裕曾對左右將領提出了自己的判斷：“盧循到達之後，如果在新亭（在今南京城南，與石頭城類似，也是依山臨江修築的軍事重地，但因距建康較遠，且有秦淮河相隔，故重要性不及石頭城）登陸，緊逼我軍，勢不兩立，那就是來玩命的，其鋒芒將不可阻擋！我軍不能強行對抗，隻能暫時退讓，最終的勝負難以預料；如果他把船隊停泊到西岸蔡洲（石頭城以西，長江中的小島），則我們打不著他，他也打不著我們，意味著他沒有決死的勇氣，那我們就安全了！”