既然決定進兵，那麼劉裕就要安排好家裏麵的事。家裏麵的亂子最多也就是譙縱與盧循。譙縱這個人一直沒有什麼進取心，他倒不怎麼擔心，而且益州這邊兵力應該很是空虛的，因為劉敬宣隻率了五千人馬攻打他，譙縱就要向後秦請援這點上可以看得出來，就算是譙縱想趁他北伐的時候出來占點便宜那也是不行的。荊州刺史是劉道規，對於這個弟弟的軍事才能劉裕還是放心的。
至於盧循，何無忌現在是江州刺史，都督荊，江，豫州八郡軍事，劉毅此時是豫州刺史，兩人都算是猛將，擋住盧循應該沒有問題，但是劉裕又怕盧循像當年的孫恩一樣坐船從臨海（今浙江臨海）那邊登陸，又派了自己的小舅子藏熹到臨海去當太守，以防範他從海道來襲。（這裏劉裕就犯了一個輕敵的錯誤，那就是小看了盧循和徐道覆兩人，這兩人在劉裕手下那是沒有還手之力，可是劉裕的手下麵前那是很威武的，後文詳述。）
家裏還有個亂子就是琅琊王司馬德文了，安帝司馬德宗膝下無子，隻有他這一個弟弟，可以說司馬德文就是晉朝未來的皇帝，而且司馬德文不像他的兄長安帝那麼無能，反而聰明過人。他在朝中擔任大司馬的同時還兼著司徒的職務，對劉裕專權的趨勢十分敏感。為了防止他又弄出什麼事來，劉裕又派了自己的司馬謝裕總管大司馬府事務。
一切都準備好了之後，在407年4月11日，劉裕率領著不多的一支軍隊開始他人生中的第一次北伐。從建康坐船北上，再從淮水進入泗水，在五月份的時候，到了下邳這個地方就停了下來（今江蘇淮寧西北）。
劉裕這次北伐所帶的人馬數量，史上沒有明確的記載，所以也引起了廣泛的爭議，不過依筆者之見，應該隻有劉裕直接統管是徐州和青州兩地的軍兵，再加上朝廷裏的少量禁軍，也就是說這次出征的都是他北府軍的嫡係，荊州的軍隊要防備益州的譙縱和北麵的姚興，長江上遊的江州與豫州也要防備盧循，至於揚州，劉裕肯定不會打它的主意，前麵司馬元顯的例子就擺在那裏。
而且東晉實行的是軍戶製，但是曆年爭戰所導致的百姓逃亡大大破壞了這項國家的政策，所以到了東晉後期也實行了募兵製，最為重要的一點是劉裕三月份上書北伐，四月十一日就出發，可以說這是兵貴神速的代名詞，這中間不可能留給他募兵的時間，所以他能調動的隻有他手下北府軍的嫡係，大概也就三萬人左右，加上還有留兵鎮守建康城，也不可能全部帶走。還有一個因素，那就是北伐時，慕容超有些看不起劉裕，居然放他入大艦山，這裏有一個明顯的疑問，慕容超為什麼會看不起他？所以筆者作一個猜想，那就是劉裕北伐時所帶的人數不多，還沒有南燕的常備軍多。
劉裕到了下邳後，下達了一個奇怪的命令，他讓大家把坐船和笨重的軍用物資留下，步行開進到三百裏外的琅琊郡（今山東臨沂市河東區），然後在所過之地比較重要的地方，都修築小型的城池，留下軍隊把守。下麵的人都驚呆了，因為從下邳到琅琊有一條沂水可以乘船直接到達，再到梁父（山東新泰的一座小山）轉向東北就可以直到廣固，這就是以前桓溫北伐時走過的路線，雖然遠了一點但前麵就是一片坦途。
而且從琅琊到南燕的都城廣固之間是綿延的沂蒙山，山路很不好走，更重要的是翻過沂蒙山是容易，但沂蒙山後還有一座大艦山，山上有一個關卡叫穆陵關，道路窄得隻能通過一輛車子，所以又叫”齊南天險”，隻要敵人死守穆陵關，那麼他們也就隻能在穆陵關外幹瞪眼了，這不就是白跑一趟嗎？
所以很快就有人提出了質疑，“如果燕人把大艦山的險要之地用重兵把守，再讓軍隊把老百姓都遷走，再把田地裏的糧食給燒了，實行堅壁清野之策，到時我們深入到敵國的腹地，補給困難，求戰又不得，軍心渙散之下還有可能回不了建康城啊？”
聽了這話，劉裕就笑了，“其實這個情況我早就考慮過了，那個南燕的新主生性貪婪，他手下的人也差不多，打仗的時候就從來沒有長遠的打算，前進的時候就隻想著搶更多財物和人口，後退的時候想必也舍不得這些田裏的秧苗，而且他們以為我們孤軍深入，肯定不能持久堅持下去，所以他們最多就是進軍駐守臨朐（今山東臨朐縣），如果打敗了就退兵戍衛廣固，一定不會據險要之地抵抗，清肅四野防備我們，這一點我敢向你們保證。而且一旦過了大艦山，我們就沒有回頭之路可走，隻能向前，再向前，懷必死之心必定可以打敗鮮卑小兒。”（《資治通鑒。一一五卷》）
其實劉裕之所以會選擇走山路，不走平原地區，還考慮到了鮮卑乃是馬上的民族，南燕有著為數不少的騎兵，所以機動性很強，但是晉軍缺的就是騎兵，如果走桓溫的老路，有可能使決戰提前到來，在平原地區上，是最利於騎兵發揮機動性優勢的，騎兵可以平原上交替分割，迂回穿插於步兵之中無敵手，劉裕雖然自負，也不會拿自己的短處去碰別人的長處，隻要過了大艦山，決戰就隻會在臨朐或是廣固這兩個地方，雖然還是要麵對騎兵，但總比在一望無野的平原上要強。