這次改革收到了極大的效果，三軍將士作戰都勇猛向前，以一當百。同時，李存勖還將自己的音樂才能用於軍隊，自寫歌詞，自譜曲子，讓將士一起放聲高唱，稱為禦製軍歌，作戰前不論上一次是勝是敗，都要齊唱軍歌，所以將士們在作戰時都忘掉了生死。唱歌打仗可算是李存勖用兵之一絕。河東兵都穿著黑衣，鎧甲也用黑衣包裹，所以被稱為“鴉軍”。不過，他們唱的軍歌肯定比烏鴉唱得好聽。
經過努力，不但軍隊的戰鬥力大增，經濟實力也有了很大的提高，李存勖的力量比父親李克用時要強很多，所以才能在和朱溫的對抗中逐漸地占了上風，為日後奪取山東，滅掉後梁打下了堅實的基礎。
李克用死後不久，晉軍與梁軍對峙潞州，李存勖想立即出兵解圍，但是有人認為服喪期間不宜出兵，李存勖則對眾人分析道：“敵人以為我們正在服喪，肯定不會出兵作戰，況且又認為我年輕，剛剛接替父親之位，肯定沒有治國能力，更不用說領兵打仗了。這樣，敵人一定會精神懈怠毫無防備，如果這時我們突發奇兵，先發製人，那一定會成功的。”
說服了眾人後，李存勖立即整軍出發，直撲潞州的梁軍。部隊出發後，路過三垂崗，李存勖不由得想起二十年前父親在此地飲酒所說的那番話，異常感慨，暗下決心要將梁軍徹底擊潰。趁著漫天濃霧，率領周德威等將領分兵直搗梁軍的營寨，梁軍果然毫無防備，被李存勖殺得丟盔棄甲，狼狽逃竄。這次奇襲成功大大挫敗了梁軍的銳氣。
朱溫聞訊，驚訝得張大了嘴，半晌才擠出一句話來：“生兒子就應當生李亞子這樣的！李克用雖死猶生，我的兒子們與之相比，都是些豬狗之類無用的東西。”
過了兩年，李存勖又率領大軍，在柏鄉（今河北邢台北）把後梁軍打得大敗。這一仗，後梁損失更重，被殺的將士就有兩萬多人。從此，後梁軍都對李存勖產生了恐懼心理。
朱溫不斷吃敗仗，後來又出動五十萬大軍，想和李存勖決戰，結果還是被李存勖打得潰不成軍。朱溫又氣又火，一病不起，公元912年，被次子朱友殺死了。
接著，李存勖又乘機出兵打破幽州，活捉了劉仁恭、劉守光父子，把他們押回太原殺了，完成了李克用交給他的一項任務。
朱溫死後，朱友自立為帝。第二年，朱溫的第三子朱友貞不服，發動兵變。朱友被迫自殺，朱友貞即位做皇帝，就是後梁末帝。以後，李存勖的主要對手就是後梁末帝和契丹的耶律阿保機了。
公元916年，耶律阿保機即位稱帝，這就是遼太祖。第二年，契丹軍進攻幽州，號稱有百萬之多。李存勖正在黃河沿線跟後梁軍作戰，他派了三個大將前去，把契丹軍打得大敗，解了幽州之圍。過了幾年，耶律阿保機又率領大軍南下。李存勖親自帶領騎兵做先鋒，又把契丹軍打得一敗塗地。耶律阿保機不得不敗逃回去。李存勖算是完成了李克用交給他的另一項重大任務了。
李存勖跟後梁末帝打了十幾年仗。他看到後梁快要完蛋了，就在公元923年，在魏州（今河北大名北）即位稱帝，國號唐，曆史上稱為後唐。他就是後唐莊宗。這年十月，他又滅了後梁，統一了北方，把都城遷到了洛陽。