春秋時期，晉獻公晚年時十分寵愛一個叫驪姬的妃子，並且為了把驪姬所生的兒子奚齊立為太子，竟將原來的太子申生殺了。太子申生一死，晉獻公的另外兩個兒子重耳和夷吾，都感到了危險，於是便逃難到別的諸侯國，其中重耳流亡到了楚國。
流亡楚國期間，楚國的成王結識了重耳。楚成王認為重耳日後必有大作為，就以國君之禮相迎，待他如上賓。重耳也對楚成王十分尊敬，兩個人就這樣交上了朋友。
一天，楚成王設宴招待重耳，兩人飲酒敘話，氣氛十分融洽。忽然楚成王問重耳：“你若有一天回晉國當上國君，該怎麼報答我呢？”重耳略一思索說：“美女侍從、珍寶絲綢，大王您有的是，珍禽羽毛，象牙獸皮，更是楚地的盛產，晉國哪有什麼珍奇物品獻給大王呢？”楚成王說：“公子過謙了。話雖然這麼說，可總該對我有所表示吧？”重耳笑笑回答道：“要是托您的福，果真能回國當政的話，我願與貴國友好。假如有一天，晉楚兩國之間發生戰爭，我一定命令軍隊先退避三舍（一舍等於三十裏），如果還不能得到您的原諒，我再與您交戰。”
四年後，重耳真的回到晉國當了國君，就是曆史上有名的晉文公。晉文公勵精圖治，把晉國治理得井井有條。晉國在他的治理下日益強大。然而，當時群雄皆起，諸侯爭霸，發生戰爭是在所難免的事情。
公元前632年，晉國和楚國之間終於因為不和而發生了戰爭。由於楚國比較強大，因此統軍大將成得臣就想要先發製人，率領楚國大軍重兵壓境。
楚軍一進軍，晉文公立刻命令往後撤。晉軍中有些將士想不開，說：“我們的統帥是國君，對方帶兵的是臣子，哪有國君讓臣子的道理？”大將狐偃解釋說：“打仗先要憑個理，理直氣就壯。當初楚成王曾經幫助過主公，主公在楚成王麵前答應過：要是兩國交戰，晉國情願退避三舍。今天後撤，就是為了實現這個諾言啊。要是我們對楚國失信，那麼我們就理虧了。我們退了兵，如果他們還不罷休，步步緊逼，那就是他們輸了理，我們再跟他們交手還不遲。”這樣，晉軍一口氣後撤了九十裏，到了城濮，才停下來，布置好了陣勢。楚國有些將軍見晉軍後撤，想停止進攻。可是成得臣卻不答應，他率領軍隊步步緊逼，一直追到城濮，跟晉軍遙遙相對。成得臣還派人向晉文公下了戰書，措辭十分傲慢。
晉文公也派人回答說：“貴國對我的恩惠，我從來都不敢忘記，所以一直退讓到這兒。現在，既然你們還是不肯罷手，那麼，我們隻好在戰場上比個高低。”
成得臣一向驕傲自大，從不把晉人放在眼裏。晉國的將軍用兩麵大旗，指揮軍隊向後敗退。他們還在戰車後麵拖著伐下的樹枝，戰車後退時，地下揚起一陣陣的塵土，顯出十分慌亂的模樣。成得臣不顧前後地直追上去，正中了晉軍的埋伏。晉軍的中軍精銳，猛衝過來，把成得臣的軍隊攔腰切斷。原來假裝敗退的晉軍又回過頭來，前後夾擊，把楚軍殺得七零八落。
這時候，晉文公又發出命令，讓將士們隻要把楚軍趕跑就是了，不要再追殺。成得臣由此逃了出來，帶著殘兵敗將逃回楚國。
晉軍占領了楚國營地。把楚軍遺棄下來的糧食吃了三天，才勝利回國。晉國勝利的消息傳到周的都城洛邑，周襄王和大臣們都認為晉文公言而有信，退避三舍後還能打敗楚國，所以立下大功。周襄王親自去慰勞晉軍，於是晉文公趁此機會，給周襄王造了一座新宮，並約各國諸侯召開大會，訂立盟約。
從此，晉文公當上了中原的霸主，成為“春秋五霸”之一。
“退避三舍”是指退讓、忍讓和回避，不與人相爭或主動讓步，以求避免衝突。在古代，一“舍”即三十裏，三舍是九十裏，晉文公在兵力優勢情況下仍然能信守諾言真是難能可貴。
現在說的“見到那個家夥，誰也會退避三舍”則是指遠遠躲開某人的意思。人間世事，往往是十分複雜的，若全是針鋒相對、寸步不讓，未必有好結果，退一步海闊天空，有的時候，適當的禮讓更容易贏得輿論的理解和支持，從而為你成功打下基礎。