非常道李克用死後，李存勖繼承了他晉王的職位。他每次出兵作戰總是在錦囊裏放三支箭，讓士兵背著。正是有著這種不忘屈辱、矢誌圖強的抱負，李存勖終於實現了父親的遺願，也成就了自己的一番事業。
公元884年，李克用打敗黃巢起義軍，在返回河東途中經過朱溫的駐地汴州。朱溫害怕李克用的勢力強大，對自己不利，一心想消滅他。李克用一到，朱溫表麵上對他非常客氣，把他接進驛館，設宴招待，暗地裏卻在驛館四周埋下伏兵。
到了深夜，伏兵突然殺進館舍。李克用正吃醉了酒，呼呼大睡。幸好他的隨從拚死相救，用褥子把他裹起來，藏在床底下，才沒有被殺。就在這時，突然來了一陣閃電雷雨，李克用和隨從乘機逃出驛館，狼狽地回到軍中。打這以後，李克用就和朱溫結下了深仇，兩人經常打來打去。
朱溫滅唐建梁，李克用不服，仍舊用唐朝“天祐”年號，打著興複唐朝的旗子，跟後梁對抗。當時，北方的契丹族逐漸強大起來，首領耶律阿保機統一各部，建立了政權。他帶領三十萬軍馬，攻打雲州（今山西大同）。李克用決計利用契丹的力量，一道對付朱溫。
李克用派人和耶律阿保機聯係，在雲州東城跟他相會，並和他結為兄弟，約定當年冬天一起出兵攻打梁朝。耶律阿保機在李克用軍營中逗留了十天，李克用送給他很多金帛，他也回送給李克用很多馬匹和其他牲畜。不料耶律阿保機一回契丹，看到梁朝勢力強大，馬上背棄盟約，倒向梁朝一邊了。李克用知道後怒不可遏，卻又無計可施。
公元908年，李克用不幸生了毒瘡，眼看治不好了。他臨死時，拿出三枝箭，交給兒子李存勖，鄭重地囑咐他說：“梁朝是我的仇家，這你知道。燕王劉仁恭、劉守光父子是靠我的推薦擔任盧龍軍節度使據有幽州的，契丹的耶律阿保機曾經和我相約結為兄弟，他們卻都背棄了我，歸順梁朝，跟我作對。這三件事，都是我遺留下來的恨事。如今給你三枝箭，你千萬別忘記你父親未了的心願！”
李存勖接過了箭，答應一定給父親報仇。李克用一死，李存勖就繼承了他的爵位，做了晉王。他繼位以後，下令把這三枝箭供奉在宗廟裏。以後每次出兵作戰，他就派人去拿出這三枝箭，放在一個錦囊裏，讓人背著，走在隊伍的前麵，等到作戰回來，再放回宗廟。
他剛繼晉王之位時，先任命李存璋為河東馬步都虞侯兼軍城使，負責整頓軍紀。李存璋立即部署，打擊擾亂軍紀的將士，誅殺了幾個首領，沒過幾天，軍紀大振，百姓們拍手稱快。等破了潞州之圍，李存勖又進一步全麵整頓，不僅是軍紀，而且涉及政治與經濟各個方麵。他命令各州縣保舉賢良之人充任官吏，罷黜地方的貪官汙吏。同時減輕人民的租賦稅收，撫恤孤兒與老人，為民平反冤獄，嚴厲打擊盜賊。
此外，李存勖還身體力行，每當路上遇到饑寒的百姓，就下馬親自慰問。從此，河東地區民心依附，百姓開始安居樂業。經濟的發展反過來又為李存勖的作戰提供了有力的物質保障。
軍隊的整頓更是重點，為提高戰鬥力，他製定了嚴格的軍律，下令騎兵在見到敵人之前不準乘馬，步兵和騎兵戰鬥部署已定時，必須保持嚴整的隊形和陣勢，不得隨意跨越防區地界，以防止發生混亂，給敵人可乘之機。分路進軍時，到達集結地的時間不得延遲，違者斬首。