公元908年，也就是後梁皇帝朱溫篡唐稱帝的第二年（開平二年）是五代史上大事頻發的一年。首先是蜀主王建正式稱帝，到南郊祭天，大赦天下，改年號為武成，任命韋莊為門下侍郎，同平章事。
第二件大事是晉王李克用頭上生了個毒瘡，不治身亡。李克用彌留之際將自己的弟弟內外番漢都知兵馬使振武節度使李克寧、監軍張承業、大將李存璋、吳珙、掌書記盧質等人召到身邊告訴他們自己要立兒子晉州刺史李存勖為嗣。李克用對大家說：“我這個兒子誌向遠大，將來必能成就我未竟的事業，希望你們輔佐教導他。”正月十九日李克用意識到他已經不行了，於是把兒子李存勖叫到身邊。李克用命令小校拿過三隻箭矢來親手交給李存勖，對他說：“這第一枝箭代表幽州劉守光父子，他父子反複無常，兒要與我先滅幽燕；這第二枝箭代表契丹耶律阿保機，他原與我結盟，共擊叛梁，可他背盟附梁是我北方強敵，兒要與我北擊契丹。第三枝箭代表朱梁，朱溫乃我世仇，篡唐滅國大逆不道，我兒若能折此三箭，為父死也瞑目也。”接著李克用又說：“李嗣昭困於重圍，我來不及見他一麵了，等把我埋葬以後你和周德威等人馬上竭力救他。”又對李克寧等人說：“亞子就煩勞你照管了。”亞子是李存勖的小名。李克用說完這句話就閉上了眼睛，永遠離開了人世，終年五十三歲。李克用死後葬在雁門（今山西省代縣）。
李克用無疑是五代時期著名的英雄人物，正是他奠定了後唐王朝的基礎。元朝詩人李俊民遊李克用墓曾題詩一首名為《題李晉王墓》，詩雲：
雄名凜凜振沙陀，為國功深奈老何。
多少三垂崗上淚，伶人哪進百年歌。
可是雖然李克用指定李存勖繼承他的王位，事情進展的也不順利。李克寧多年掌握河東軍政大權，有人希望兄終弟及由李克寧繼承王位。李存勖心中有點害怕，於是他去拜會自己的叔叔李克寧，表示願意將王位讓給叔叔。李克寧這時表現的很堅決，他說：“你是晉王的嫡長子，而且有先王的遺命，誰敢違抗呢？”河東將士在外要拜見李存勖，他卻跪在李克用靈前啼哭不止。張承業對他說：“大孝在與不丟先王基業，多哭無用。”於是攙扶著李存勖出來與眾人相見，繼位為河東節度使、晉王。李克寧帶領眾將及百官祝賀。當時梁軍正圍困上黨（潞州首府），李存勖把軍府事務都委托給李克寧掌管。
晉王李存勖任命李存璋河東軍城使、馬、步都虞侯。先王李克用在時多寵信依靠胡人軍士，因此這些人橫行不法侵擾店鋪，李存璋上任後逮捕了其中尤為殘暴蠻橫者，一月之間城市即秩序井然。
五代時期大軍鎮首領都喜歡認幹兒子，為作戰的需要，在軍隊中挑選武功高強能打的武士養做義子。晉王李克用與他們一樣，也養了不少幹兒子，在曆史上有十三太保之稱。李克用最有名的幹兒子就是五代第一英雄李存孝。李存勖繼承王位時李存孝已死，但還有幾位李克用的幹兒子手中都握有兵權，晉王李克用在世時也對他們像親兒子一樣，他們年齡都比李存勖大。這些義兒幹殿下中有人看不起李存勖，認為他年齡小，不服李存勖的號令。李存勖繼位後，他們有的就托病不出，有的就見晉王不拜。李克用死後李克寧在晉軍中權勢大，這些人中不少願擁護李克寧繼位。其中養子李存璟就暗中勸說李克寧說：“兄終弟及，自古有之。叔叔須拜見侄子，於心何安！上天授予的東西不取，後悔就來不及了。”李克寧這時還比較理智，他說：“我們家向來父慈子孝，先王的基業已經有了歸屬，我又何必強求呢？你不要再說，要不我殺了你。”