秦軍攻下滑邑的時候，晉文公還沒有得到安葬。這時的晉太子襄公聽說這件事情之後，很是憤怒的說：“秦國居然敢這樣欺侮我，在我父親剛剛去世，趁我們辦喪事的時候攻破了我國的滑邑。”於是，晉國正式向秦國宣戰了，襄公也下令將國人為晉文公致喪用的喪服直接染成了黑色，作為征伐秦軍的軍服，並率軍隊在殽山阻擊了正在返程中的秦軍。
兩方交戰，悲憤的晉軍將秦軍打得大敗，出征的秦軍沒有一個能從這場戰爭中逃脫。而帶領秦軍出征的三位將軍也全部被俘，被送到了晉的都城。這時，晉文公的夫人還健在，她是秦繆公的女兒，實在是不想秦國的大將就這麼死在晉國，於是便想了個辦法前去向襄公求情。她對襄公說：“這三個成事不足敗事有餘的家夥，討伐鄭國那麼一點點的小事都做不好，還犯下了讓秦和我們晉國交惡這樣的大錯。現在，繆公對他們早已經是恨之入骨了，希望您能把他們放回去，讓繆公能夠親自痛痛快快的煮了他們，以示懲戒。”襄公聽晉文公的夫人這麼說，就答應了她的請求，把三位秦軍將領放還了秦國。
當這三個人回到秦國的時候，秦繆公親自穿著白色的喪服前去郊外迎接他們，並哭著對他們說：“我因為沒有聽從百裏奚和蹇叔的話，才讓你們受到了這樣的屈辱，這次的戰敗你們是沒有罪過的。不過，希望你們能夠拿出自己的全部心力勵精圖治，來洗雪這個恥辱，千萬不要鬆懈啊！”於是，秦繆公恢複了這三個人原來的官職和俸祿，並更加厚待他們。
在秦繆公三十四年的時候，楚國的太子商殺掉了自己的父親楚成王，接替了王位。
而同樣在這一年，秦繆公再次派出了孟明視等將領率兵攻打晉國。兩國在彭衙這個地方展開了戰爭，但是秦軍的戰況不是很好，隻得撤兵返回了。
後來，戎王派出了由餘前去出使秦國。由餘這個人的祖先是晉國人，在逃亡的過成功來到了戎地，就在那裏定居了。由餘不但通曉戎地的語言，甚至還會說晉國的方言。而這個時候，戎王聽說秦繆公是個很賢明的人，就派出了由餘前去觀察秦國。而繆公在見到由餘之後，也向他展示了自己的宮室和積蓄的財寶。
由餘看完這些之後，對秦繆公說：“您的這些宮室和財寶，即使是讓鬼神來營造，也是要耗費不少力氣的。如果是由百姓們來營造，那麼百姓可真就是受苦了。”
秦繆公覺得由餘的話很奇怪，就問他說：“我們地處中原的各個國家都是在借助詩書禮樂和法律製度這些手段在處理國家政務，而且即便如此，還是常常會出現禍亂。現在你們戎族還沒有建立起這樣的製度，那你們在拿什麼來治理國家呢？在這種狀況下治理國家不是一件很困難的事情嗎？”由餘聽完繆公的話，笑著對他說：“其實您說的這些，才真正是中原各個國家會發生禍亂的根源。您可以想一下，在上古的時候，聖人黃帝首先創造了禮樂法度，而且還在親自帶頭貫徹執行。但即使是在這種情況下，也才隻是實現了小的太平。而到了後來，一代代的君主都是變得更加驕奢淫逸，不再帶頭遵守國家法度，而是依仗著法律和製度的威嚴，來要求和監督民眾，一味的要百姓們做這做那。這樣過得久了，人們自然會對這樣的統治感到疲憊，而進一步開始怨恨君主，要求實行仁義的製度。其實，現在社會中的這些官吏、百姓之間的上下怨恨、篡權奪位、屠殺，甚至滅絕人家家族這樣的事情，都是因為禮樂法度這些東西在作怪啊。不過我們戎族現在卻不是這樣的，我們的君主懷著淳厚的仁德來對在自己的臣子和百姓，而臣民也同樣是滿懷忠誠和信義來侍奉自己的君主，這樣以來，我們的整個國家其實就像是一個人在支配自己的身體一樣，並不需要去了解什麼治理國家的方法就可以做得很好，這才真正是聖人治理國家的方式啊。”