世家們想來想去，就把目光放到了同為建義諸人的劉毅身上，劉毅這個人雖然也和劉裕一們出身草根，可是他和劉裕不同的是他非常愛好文學，也喜歡結交士人，更重要的是謝氏現在的當家人謝混就和他很有好。在謝混的支持下，劉毅便被某些人推動著徹底走到了劉裕的對立麵，不過以劉毅的性格，即使沒有那些人的推動，他遲早也要和劉裕鬧翻的。
謝混，出身當時的高門陳郡謝氏之後，乃是名相謝安的孫子，前麵提過的謝琰的兒子，這個謝混長得一幅好相貌，長大了以後就被人稱為玉人，而且文采風流，被人稱為”江左第一”，甚至就連皇帝也搶著和他結親，孝武帝就把自己的女兒晉陵嫁給他。可是不久之後孝武帝被自己的妃子勒死，這件事便耽擱下來，後來又有大臣跑去向謝混提親，旁邊就有提醒他，“他可是皇室的禁臠，你也敢搶？”禁臠這個詞就是始於謝混。
但是現在的謝氏已經在走下坡路了，自從謝安歸隱之後，再到不久之後的謝玄身死，謝氏的影響力早已不如以前，以前謝混的老子謝琰還在時，掌管著兵權，謝家還有說話的權利，可是謝琰居然在和孫恩交戰的時候被手下人給殺了，這給謝氏的聲望造成了巨大的打擊，謝混此時身為謝氏的掌舵人，自然要為家族考慮，劉毅就是他精心挑選的合作夥伴。
劉毅在世族之中還有另一個支持者，名叫郗僧施，這個家夥雖然沒有謝混這麼有名，可是他的來曆也不小，他的叔父郗超曾是桓溫的首席謀士，可是郗超無子，就把他過繼過來當作自己的兒子，因為郗僧施是主動製造劉毅的，所以劉毅與他的關係應該比謝混還要好，劉毅遇到他後，曾經感歎道，“當年劉備遇到孔明，如魚得水。如今我與足下雖才能不如古人，而共事之情如出一轍”，可是劉毅既不能跟劉備相比，那郗僧施就更不能和智多近妖的孔明先生相提並論了。
當初，劉裕南下征討盧循，任命劉毅留守建康城，可是這時建康城中也不是劉毅說了算的，因為當時有劉裕的心腹劉穆之京城，劉毅的日子說是過得極其憋屈的。後來劉裕一回來，他就向劉裕打報告，“劉兄，你手下那個以前的主薄現在官兒不大，卻什麼時候都插一手，你以後可要小心，不要什麼時候被他暗中給你來一下，你可就慘了。”
對於劉裕來說，劉穆之是他用了好幾年的心腹之人，一向都是當作股肱之臣看待的，可是現在劉毅居然跑到他麵前說劉穆之的壞話，這就真像是黃鼠兒狼給雞拜年，沒安好心。劉裕經此一事，對劉穆之反而更信任了，劉毅隻是枉做小人。
除了這一點之外，劉裕感覺到最近劉毅有些不大對勁，在朝中議事的時候，一有什麼事劉毅都要同自己對著幹，說話的時候也不給自己留麵子，劉裕出於各種考慮，都給他留著麵子，可是這結果就是劉毅越來越驕橫，鼻子都要快翹到天上去了。劉裕終於忍受不住，一腳把他給踢到江州去了，來個眼不見心不煩。
不久之後，劉毅就被重新任命為豫州刺史，同時負有都督豫江兩州軍事的權力，東晉當時沿用於西晉的都督製度規定：對刺史中威望較高者，授予其都督臨近州軍事的權力，可以指揮、調度臨州兵力，比如劉裕現在都在擔任那個都督十六州軍事的職務，但是這個江州可是朝廷的腹地，乃是重要州郡，劉裕把這個地方也給了劉毅算是對於當初沒讓他去負責追擊盧循的補償，至於推薦劉毅的人他倒是沒怎麼放在眼裏。
此時的江州刺史庾悅正在府中為自己的前途擔心了，因為新任的都督江州軍事劉毅同他有舊仇。要知道現在的穎川瘐氏早已不是當年的庾氏了，他自己雖然是一州刺史，可是當看桓玄篡晉時，他卻是偽楚的中書侍郎，就這一個把柄就夠別人捏死他了。
說起來這個事也是巧得很，當年庾悅還是司徒長史的時候，恰好要請朋友去吃飯，於是就選了京口一家比較大的堂子，可是恰好這時劉毅也和他的一家些朋友在這裏比賽射箭的功夫，那時候的劉毅可是一文不名，隻是一個沒有品級的小吏，庾悅甚至都沒有親自去趕人，他隻是讓手下人出馬，把手向外一指，示意你可以走人了。