劉裕第二次北伐的各路兵馬是在八月中旬從彭城、壽陽、襄陽及巴蜀等數個地點分別出發的。這次用兵是東晉建國以來，第一次真正傾全國之力發動的戰爭，聲勢遠比七年前征伐南燕要浩大得多。晉軍在東臨齊魯、西至秦嶺的千裏戰線上，從東到西排開了七路大軍，齊頭並進。
第一路是北伐主力之一，由老將冀州刺史王仲德為前鋒，劉裕本人為其後繼，從彭城出發，沿泗水入清水、濟水，至巨野澤，然後開通巨野澤與黃河間的人工運河（即當年桓溫北伐前燕時開鑿的“桓公瀆”）進入黃河，控製黃河水道，然後沿河西上，指向洛陽。這路大軍的行軍路線與當年桓溫伐燕路線基本相同，不同點在於劉裕伐後秦時，淮北和齊魯之地早已為晉朝占有，已成為晉軍可靠的後方基地，在補給上遠較桓溫優越。
第二路由建武將軍沈林子和劉裕的族弟彭城內史劉遵考指揮，也從彭城出發，沿汴水西上，經滎陽過石門入黃河，與第一路彙合西進洛陽。
第三路為北伐軍陸路主力，由龍驤將軍王鎮惡、冠軍將軍檀道濟指揮，從壽陽出師，沿潁水、汝水北上，進取許昌、洛陽。
第四路由新野太守朱超石、寧朔將軍胡藩指揮，從襄陽向東北前進，越南陽直抵陽城（今河南登封東南）。
第五路由振武將軍沈田子、建威將軍傅弘之指揮，出襄陽沿丹水而上，經武關入關中。這路軍隊的兵力不同史書的記載，差異很大，《宋書?自序》中稱隻有數百人，而《晉書?姚泓載記》稱有一萬人。以沈田子的級別，雖然執行的是疑兵作戰，隻帶數百人也太少了，而且沈田子是《宋書》作者沈約的伯祖，不排除沈約有誇大祖先功績的嫌疑，《晉書》的記載可能更接近事實。這一路的任務是虛張聲勢，在長安東南麵製造壓力。
第六路由別將姚珍率數千人經漢中，入子午穀，從南麵威脅長安。
第七路由別將竇霸率數千人假道仇池，入駱穀，從西南麵威脅長安。
這七路軍隊按其承擔的任務不同，大致可以分成兩組：
前四路大軍實力較強，所經過的大道平坦易行，且大多有水道可依，後勤補給比較方便，是北伐的主攻力量。從地圖上看，他們的進軍線路就像一把倒置的巨大折扇，後秦與東晉的東部邊界就像弧形的扇沿，四路大軍像四條扇骨，大軍席卷而過的河南就像廣闊的扇麵。扇骨越向上，彼此的位置越靠攏，最後在扇柄根部洛陽彙合，攻占洛陽，完成第一階段目標。
後三路軍隊行進的路線多為高山深穀，行軍和補給均不容易，並且狹窄的地形也使人多的優勢難以體現，所以劉裕給他們配備的兵力都比較少（三路合計應不足兩萬），隻是作為牽製性的疑兵使用，特別是姚珍和竇霸兩路，因為兵少將微，又沒什麼顯著戰果，一般講述劉裕北伐的文章中，幹脆就把他們給省略了。他們的任務是製造大軍威逼關中的假象，讓後秦軍主力不敢東出潼關，救援洛陽，從而為前四路大軍的勝利創造良好條件。七路大軍的總兵力，史書上沒有明確記載，一般認為在十萬以上，二十萬以下。