劉毅的家庭出身也不是很好，但是他從小也愛賭博，這臉皮自然也是厚得很，他上前來哀求道，“大人，我們這些家境貧困的人聚到一起射一次箭很不容易，您這個宴會到京口的其他堂子也能夠舉辦，不如您就把這次機會留給我們吧。”
庾悅是誰，那是出身高門大族的勳貴子弟，劉毅隻是一個破落戶的子弟，家裏沒有半文存款，庾悅可能給他麵子，劉毅把話說完後庾悅理都沒理他，其他的人一看今兒沒戲了，就都告辭離去，可是劉毅覺得自己沒有錯，就是賴在這裏不走，獨自一個人在東堂裏射箭。
後來庾悅請的朋友來了，這宴會也就開始了，其他的人都看到劉毅一個人在這裏射箭，可能是有點不好意思，就讓劉毅一起入席，其實劉毅等的就是這句話，可是主人庾悅這時就發火了，本來對於劉毅這麼個窮酸賴在這裏不走心裏就很煩了，沒想到朋友們居然讓他上桌。想上桌，不僅門兒沒有，連窗兒也沒有，庾悅當下就發話，讓劉毅不準上桌，為了懲罰劉毅的不識抬舉，他這時又不準劉毅走了，他讓劉毅就呆在東堂看著他們吃，等他們吃完了再走。
說起來庾悅這也有故意侮辱劉毅的意思，你不是不走嗎？那你就留下來看著我們吃，饞死你這個窮鬼。可是劉毅不僅沒有絲毫不好意思的感覺，反而笑嘻嘻地跑到庾悅這桌來說道，“大爺，我今年還沒有嚐過新鮮的鵝肉，您就賞我一塊鵝肉吃吧。”
這個情況你可以做如下想象，就比如某身居高位的大人正在宴請友人，酒桌上推杯換盞正熱乎的時候，突然跑過來一個要飯的，說是大爺請賞塊肥雞嚐嚐吧。恐怕那時庾悅臉上的表情應該很精彩，他心裏的想法不僅有怒有羞有惱有恨，同時也是五味纏雜吧。他也沒想到劉毅就像一塊牛皮糖沾了之洗也洗不掉，反而讓他在友人麵前出了大醜，庾悅當時就下令讓仆人把劉毅給架出去了。
這件事對於劉毅日後的人生影響如何我們也可以猜得出來，劉毅後來特別喜歡交好世家子弟，恐怕與那一次的事情不無關係。
可是現在劉毅是朝廷上的二號大佬，爵封南平郡公，現在官任豫州刺史，都督豫江兩州諸軍事，當然他也可以是庾悅的同僚，但是劉毅的爵位就比庾悅高了一大截，庾悅在劉毅麵前天生就要比他矮一頭，對於劉毅來說，江州這個地方對他太重要了，因為豫州就在朝廷的眼皮子底下，他想做什麼都不方便，可是江州不僅離朝廷不是太遠，而且離荊州也很近，劉毅要是想做什麼也方便的很。
劉毅第一次前來拜會瘐悅時一口一個老兄好久沒見，我很想念你啊，這些話聽得庾悅有些膽顫心驚的，沒有出乎庾悅的所料，劉毅馬上就出手了，不是為了別的，就是為了他手中的兵權，劉毅給朝廷上了一封奏折，
奏章上大概是這樣說的，江州是屬於國家的的腹地，江州刺史應該以治理民間事務為主要職責，不應該再配置一個軍府來消耗百姓的力量，應該解除軍府，移到豫章鎮守，而且尋陽接近蠻夷之地，所以也可在州府的部隊中分出一千名兵丁加強該郡的防衛，
朝廷之中有劉毅的同黨，一道奏章就奪取了庾悅的都督、將軍的官職，隻給了一個小刺史的身份，還把他們趕到自己的老巢去往豫章管理江州，那個時代刺史沒了兵權，就等於失去了靠山，而這個時候劉毅順勢把庾悅府中的三千名文武官員全部收入自己的將軍府中辦公，這一舉動既壯大了自己的實力，並且也讓庾悅成了光杆司令，
劉毅此後對庾悅更是經常橫加責難，經常催他交這個交那個給自己。麵對這種高壓的環境，庾悅有怒不敢言，俗話說得官大一級壓死人。到了豫章上任之後不久，就因為後背長瘡病逝了，這劉毅給人家穿小鞋還真是穿得好合適啊，其實劉毅開始擔任撫軍將軍的時候，他就請他擔任過自己的撫軍司馬，可是庾悅哪裏敢跑到他虎口之下，就跑到劉裕的麾下擔任車騎司馬，後來他就任江州刺史，也是劉裕幫的忙，隻是這次劉毅如此刁難他，劉裕不幫忙想必也有他的考慮吧。