如果從嚴治軍，像嶽家軍那樣是決不允許帶家屬的，但問題是，劉光世的隊伍不是像嶽家軍那樣新組建的，而是有著沉重的曆史包袱，這是一支曆史最悠久的隊伍，他從西北把他們帶到淮西，整整四十年，這四十年怎麼可能不讓將士們娶妻生子，又怎麼忍心把將士們的家屬丟在一邊呢？一旦將士們的家屬落在了敵人的手中，那麼，這支軍隊也就不複存在了。因為，將士們會逃到敵占區去，加入“偽軍”，以便能夠繼續和家人待在一起。因為有這樣的顧忌，所以，他也隻能睜一眼閉一眼了。將士們倒也願意跟著他，吃喝不愁，保命掙錢，兵荒馬亂的年代誰不願意跟這樣的領導混？所以，有不少的流寇、叛軍也樂於投奔他，他的軍隊就成為當時人數最多的軍隊，而他的人氣指數居然也成了“中興四大將”中的老大。
劉光世是一個“攘外必先安內”思想的忠實踐行者。他待自己的手下和身邊人好呀！拖著這麼龐大的一支軍隊，金軍來了他就跑，金軍退了他再回來，敵進我退，敵撤我回，用這種毫無營養的方式與金軍展開軍事鬥爭。為了照顧更加龐大的家屬隊伍，穩定他的大後方，劉光世也積極做買賣搞經營，撈錢的本領絲毫不遜色於張俊，到他退休的時候，他已經積聚起上億的資產，坐擁肥田三萬畝。他還為自己的三個小妾討封賞，讓這三個小妾都成了誥命夫人。小妾都可以被封為誥命夫人，這是從南宋才開始有的，而南宋這樣的做法又是從劉光世開始的。
劉光世深知人性的弱點，他甚至在戰場上也會巧妙地利用這種人性的弱點。在金兵高奏凱歌，一路攻城略地的同時，劉光世敏銳地認識到，行囊中滿載珍寶的金軍中，肯定已經有絕大多數士兵開始患上思鄉病。他們最大的心願應當是滿載而歸，衣錦還鄉，用戰爭中搶來的戰利品購置一點資產，享受一下美好人生。看清了形勢的劉光世於是從戰爭的最根本處入手，決心讓金兵自我分解！他鑄造了一大批金、銀、銅錢。所有錢幣上，統統印上了“招納信寶”的字樣。每次俘獲了金兵，劉光世都不殺，反而讓他們拿一些這種錢：“帶回去，給你們同伴看看。有誰想開小差回家的，到了江邊，見了把守渡口的宋兵，隻要拿出這種錢做憑證。宋兵見了，就會通通放行！”這個消息一傳十、十傳百，不脛而走。一時間，上宋營取錢後逃走的金兵絡繹不絕。金國部隊終於軍心渙散，不戰而潰。整個戰役，劉光世在幾乎沒有付出人員傷亡的情況下，成功地實現了國家戰略意圖。你可以用“不戰而屈人之兵”來稱讚他，但你也應該看到，那些開小差的金兵其實跟劉光世他們是一個想法，大家彼此彼此，不自覺地就建立起了“反戰聯盟”。
但是，反戰也好，逃跑也好，畢竟在當時的形勢下是“非主流”的觀念，劉光世也受到了朝野上下包括其他三位大將的一致批評。宋高宗也給他下了死命令，不許他再打遊擊了，甚至出現了“軍法從事”的字樣。劉光世自己感覺混得沒勁，混不下去了，便主動打報告要求離職。在古代，臣子給皇帝打報告叫“上表”，在宋代，上表成了典型的君臣之間的文字遊戲，一件事能馬上辦但絕不馬上辦，要文書往來幾次才覺得過癮。比如大臣的辭職，至少要寫三封辭職信，皇帝才會勉強同意，這才符合君臣之禮，如果寫一封信就被批準，那對辭職者來說是很丟麵子的事。宋高宗恰恰沒有給劉光世這個麵子，很爽快地答應了他的請求，讓他回家安享晚年過退休生活，而他那支部隊，正好改組重建，實現資源優化。
根據當時統帥部的文件，劉光世的淮西軍共有官兵52312人，戰馬3019匹。高宗原本是想讓嶽飛去整編淮西軍的，嶽飛為此也摩拳擦掌信心滿滿，但在宰相張浚的堅決反對下，宋高宗又撤銷了這一決定。結果，不僅造成了高宗與嶽飛的矛盾，還使淮西軍陷入混亂之中。離開了劉光世的淮西軍就沒有人“HOLD”得住了，劉光世擔心的事情也終於發生了：淮西軍的大將酈瓊帶著四萬人馬集體嘩變，投降了偽齊的劉豫政權，繼續去過他們的“反戰”生活了。