劉裕送走了王鎮惡的使者，北魏軍隊仍在北岸沒完沒了地騷擾，晉軍的主要補給線——黃河水道始終非常不安全，基本不能正常使用。雖然劉裕並不想兩線作戰，但也發現，對於拓跋嗣的北魏軍，光靠幾句甜言蜜語的哄騙或喂顆糖都是不行的。於是，他決定給北魏一點教訓，要對付過分淘氣的小孩，再沒有比揍一頓屁股收效更快的辦法了。
正好此前發生了一件小事。
從洛陽趕來與劉裕會合的寧朔將軍胡藩，所屬的一條大船也因為斷了纖繩，被大風吹到北岸，遭到北魏騎兵的洗劫。胡藩見狀大怒，帶上十二名親兵，乘一條小船渡河登上北岸。正在搶劫大船的有五六百北魏騎兵，雖然也看見這一小隊膽大妄為的晉軍，不過並沒太大的反應。十三個人實在太少了，甚至都激不起他們的殺戮欲望，畢竟正在品嚐魚翅燕窩的嘴，不會對一個小饅頭垂涎欲滴，隻會對這個小饅頭的勇於獻身感到好笑。
可讓他們沒想到的是，這一小隊晉軍不是來被殺的，而是來殺人的。胡藩在晉軍諸將中是有名的神射手，上岸便射，箭無虛發，北魏軍立即有十多人應聲而倒！毫無心理準備的幾百北魏軍一時大驚，竟被這一小隊晉軍嚇退，胡藩從容地奪回自己的大船，重新駛回南岸。
對劉裕來說，教訓北魏的主要難度，不在於北魏騎兵能打，而在於北魏騎兵能跑。受自然條件限製，東晉的戰馬在數量和質量上都遠遠遜色於北魏，這使得晉軍在大平原上的機動性不如北魏軍，而且這一缺陷幾乎不能通過高明的指揮來彌補。當然，如果一定要打，晉軍也可以用攻其必救、圍點打援一類的戰術手段來實現，但這又與劉裕避免兩線作戰的戰略相矛盾。
現在，胡藩這次微小的勝利，雖然對改善晉軍運輸線的惡劣環境沒多大幫助，但給了劉裕一個啟示：在不能發兵大舉北上的情況下，抓住魏軍揍一頓的關鍵，就是出動的人不能太多，這樣就不會把他們嚇跑了。
四月，劉裕讓自己的近衛隊指揮官拳頭硬度和魯智深差不多的丁旿，率領勇士七百人、兵車一百輛，登上了黃河北岸。上岸之後，晉軍在每輛兵車上布置七名武士，然後以黃河作底邊，將一百輛兵車排成了一個向北凸出的圓弧形，弧形的最頂部距離河岸約一百步，兩端則逐步向南收縮，與河岸相接。
很快，一個在後世大名鼎鼎的陣形便出現在了古黃河岸邊。地點的準確位置，今天已經難以考證，從《魏書?明元帝紀》中“詔司徒長孫嵩率諸軍邀擊劉裕，戰於畔城”的記載來看，應該在今山東省東北部的聊城市境內，距離武鬆打虎的景陽岡不太遠。
如果從高空俯瞰，此刻晉軍的陣形就像緊貼著黃河北岸的一彎新月，所以這個陣形後來被命名為“卻月陣”。卻月，就是彎月或半圓的意思。等陣形擺好，丁旿在陣中豎起一麵帶著白色犛牛尾毛的旌旗，作為第一步驟已完成的信號。
看到北岸飄揚的犛牛尾巴，早已在船上整裝待命的寧朔將軍朱超石立即率兩千名軍士進入卻月陣，每車增加二十人。先給卻月陣按“秀外慧中”的標準進行“裝修”：慧中的主要內容是巨弩一百張（可能是當年用來對付盧循、徐道覆的萬鈞神弩或萬鈞神弩的改進版），並配有大鐵錘若幹，長槊一千餘支；秀外，在兵車靠外一側的車轅上堅起木製護障，以保護陣內晉軍士兵不受魏軍的弓箭所傷。
在劉裕安排晉軍布陣期間，一直在跟蹤晉軍行動的幾千北魏騎兵，表現就比較搞笑了，他們不像是來作戰的，更像是來參觀友軍演習的，好奇心十足地、非常禮貌地等待晉軍布陣完成，頗有觀棋不語真君子的風度。