相對的，是交出部分兵權，是謝氏被打壓和削弱，被皇家一步步地蠶食。所有人都在等他說那一聲“反了吧”，但他沒有，他還托病為由，甘願把兵權交移劉牢之，退隱回京。
這是他的仁慈，也是天下沒有陷入戰火紛飛，有了升平之象的緣故。
也隻有一心忠於朝廷的王恭，為此心情愉悅，他是太原王氏的又一位大人物，本來就是皇家派入北府的代言人，盡管多年來還取不了兵權，卻身居高位，也讓北府男兒們的觀念有所轉變，更加忠於朝廷忠於天下，而不是忠於謝氏。
“除了謝靈運……其他人如何？”劉牢之打破了沉寂，也不知是什麼想法。
“以卑職之見，謝公信，謝瞻皆可為將，其餘人暫時還沒有那樣的才能。”劉裕又說道。眾人差不多都是這個意見，以前聽聞謝公信很大紈絝之氣，現在看倒也不差；謝瞻看上去則更為清淡溫和，適合作參軍謀士，上陣殺敵恐怕難有大作為。
聽罷眾言，劉牢之思量了一會，才定下了的一眾隊主的歸屬，而其中，謝靈運編入王恭一軍，謝公信編入何謙一軍，謝瞻編入孫無終一軍。
“不行，謝靈運怎麼能跟王恭！”孫無終急了，霍然而起。
先不說王恭實為北府外人，一心想的就是把謝氏的影響力降至為零；隻說他根本不通武功，隻是個紙上談兵的馬謖！謝靈運入他麾下，能學得了什麼？
謝靈運是謝氏最好的苗子，也可以說是傳承北府的最後機會，跟著王恭，卻豈不是要毀掉？
“怎麼就不能跟我？”王恭也急了，中年臉龐上滿是憤怒，在他看來謝靈運入他軍，是最好不過的結果，也算劉牢之識趣。他冷笑一聲：“總比跟個大老粗好！”
“你小子說誰！？”孫無終就要衝打過去，北府冠軍將軍，豈容他侮辱！
這個王恭確也清操，有幾根硬骨頭，卻有著很多氏族子弟都有的毛病，自命清高，自持矜貴！心底實際是瞧不起他們這些寒門兵將的，所以他王恭那一軍的士氣向來不濟，與諸多屬下和同僚都不親近，甚至有著間隙。
不隻是孫無終，營帳裏不少人都早已想要狠揍王恭一頓！告訴他這裏是北府，不是太原王家！
嘭！劉牢之重重地拍了一下帥案，紫赤的臉龐上亦有怒氣流轉，“孫將軍，坐下。”
“我坐下？”孫無終氣呼氣呼的，老臉漲紅，劉牢之這老小子越來越過分了，之前他推薦劉裕可以為一軍將軍，老小子竟然讓劉裕當個狗屁參謀！現在更膽大包天到給謝靈運安排一條黑路，為什麼？！因為在大都督的位子上坐久了，還貪戀起來，不想退了？
也不想想自己當初的熊樣，是誰讓他們這些無名小卒，成了現在這些執掌千軍萬馬的大將軍！
是康樂公！不是皇上，不是你劉牢之！孫無終怒道：“大都督，我坐下可以，但謝靈運交給我來帶，謝瞻也不能給王恭。”
嘭！！劉牢之又重重拍了木案一記，臉上的慍色越來越重，渾身冒騰著一股強大的氣息，沉沉的道：“你也知我是都督，這是帥令！謝靈運心地仁慈，若跟著你這般脾性火爆之將，才是大不妥！現在不過是個隊主，讓他平緩熟悉了軍務再作調動，豈不更好？”
這番說辭說服不了孫無終，其實何謙等老將也是皺眉，於情於理，僅憑對謝氏忠心耿耿這一點，孫無終都是最適合的人選。
沒錯，他們已經開始不太信任劉牢之了，這老家夥越活越心機重，他們也看不透他了。
“我這麼安排，自有分寸。”劉牢之幹脆不多作解釋。
“既然都督心意已決，老將也不多羅嗦了，但此事我定要稟明康樂公，豈有此理。”孫無終握緊了拳頭，雙目圓瞪。
“盡管去稟！”劉牢之斂住了怒氣，沉悶一聲後，擺了擺手，“就這樣吧，都回去帶軍吧。”
當下，孫無終率先氣衝衝地走出營帳，其他將領也紛紛告退，王恭臉帶笑容，何謙搖頭輕歎，劉裕一臉沉著……
當營廳裏隻剩下自己一人，劉牢之才又猛地拍了木案一下，罵了聲“老匹夫”，他高高皺著眉頭，一股股淩亂的心思在翻騰……
與此同時，出了帥營後，謝靈運一行人就在忠叔的帶領下前往新兵營地，準備組建屬於自己的小隊。他們都是第一次行走在軍營之中，難免會好奇地四下張望，因為氣勢昂揚的北府兵士而讚歎，因為健壯的戰獸而喝彩。
這時候，還未離開主帥營的範圍，謝靈運忽然見到了兩位老熟人帶著許些士兵在不遠處走過，何無忌和何長瑜！
“咦！！”那邊何長瑜似有感應，轉目一望，頓時不禁驚呼：“是謝兄弟！”
“我說過你幾次，軍營重地不得喧嘩！”何無忌先是一怒，然後一驚：“什麼？謝靈運！”