此後，李克用沒了朝廷的壓力，更是在河東，河中，河北等地橫行無忌，控製的版圖也越來越大。
乾寧二年（895年），河中節度使王重榮去世，他的兒子王珂、王珙爭位，李克用上書請求王珂繼位，鳳翔李茂貞、邠寧王行瑜、華州韓建上書請求王珙繼位。唐昭宗同意李克用立王珂。李茂貞等人非常生氣，共同起兵前往攻打長安，李克用聽聞，立即帶兵進京勤王。三人乃退去。唐昭宗回到長安。李克用勤王有功，被封為晉王。
而此時朱溫在南方戰勝了時溥、朱瑄、朱瑾兄弟和黃巢餘部秦宗權後，勢力範圍急劇擴張，基本了關中到山東半島的廣大中原地區。唐昭宗也因其平叛有功加封其為梁王。
朱溫在掃清了南麵和東麵的各大阻礙之後，終於把目標對準了背麵的李克用。朱溫派大將朱琮先奪取澤、潞兩地，其副將白奉國又攻破晉承天軍，遼州守將張鄂、汾州守將李瑭都迎接梁軍前去投降，一時間晉國領地內人心惶惶。
天複二年（902年），朱溫大軍已經包圍李克用老巢太原。李克用一下慌了神，打算逃到雲州，又想逃往大漠。但被夫人劉氏勸阻：“”一旦出城，優勢不在，必為汴軍所擒”而此時，梁軍中再次發生大規模疫情，汴軍隻得再次撤兵回汴。回軍時路上又被周德威、李嗣昭偷襲得手，汴軍損失慘重。
唐天祐元年（公元904年）八月，已是統一中原大權在握的朱溫派人殺了“不聽話”的唐昭宗李曄。另立時年十三歲的李柷為帝。
天祐二年（905年），李克用與契丹耶律阿保機在雲中結為兄弟。天祐三年（906年），梁攻打燕領地滄州，燕王劉仁恭求救晉王李克用。李克用痛恨劉仁恭的反複無常，不願去救。兒李存勖進諫說：“父親，這正是我們重新作答的好機會啊。現在天下的形勢，歸附梁的勢力十有七八。現在能和朱梁抗衡的也就隻有我們和燕王劉仁恭了，如燕、晉合盟，那對梁來說不是什麼好事。爭天下要不在乎小節，這是不容錯失的機會呀！”李克用認為李存勖說的在理，於是出兵攻破潞州，梁圍燕城的危機才消除。李克用命李嗣昭為潞州留後。
唐天佑四年四月十八日，公元907年6月1日，梁王朱溫在汴梁正式稱帝，改元開平，國號大梁。
而晉王李克用、蜀王王建、岐王李茂貞、吳王楊渥等人堅決不承認“偽梁”政權、仍用唐朝年號。其中王建還直接稱帝了。而契丹耶律阿保機則對梁稱臣並求冊封。
907年六月，朱溫派保平節度使康懷貞帥八萬梁軍會同之前收複的魏博軍去收複潞州，晉軍駐守潞州的是名將二太保李嗣昭，李嗣昭苦守不戰。
梁軍苦攻數月，硬是沒能得手。康懷貞見久攻不下，便打算打持久戰，下令在城外建立起許多堡壘，堡壘之間再用城牆連起來，打算困死潞州。
李嗣昭見狀，知道這樣守下去必死無疑，急忙向李克用求救，潞州乃晉陽咽喉，李克用自然不肯輕易給朱溫，得知潞州被圍，李克用盡遣精銳前去解圍，於是晉國名將周德威、李存璋、李嗣源、等人悉數馳援潞州。而這邊朱溫見潞州久攻不下，以亳州刺史李思安撤換掉康懷貞。
李思安到了潞州，決定把康懷貞修築的堡壘外麵又加了一圈，並稱之為夾寨。康懷貞的堡壘用以圍困潞州城，而自己加的城牆用來地域李克用的援兵。並調用山東的百姓運送軍糧。打算長期圍困。
周德威等人到了一看，也沒見過這等操作，也沒有解圍之計謀，隻好打起遊擊，每天派輕騎騷擾，雙方你爭我奪，誰也製服不了誰，就這麼一直僵持著。
大半年的連續戰爭，軍務繁忙，李克用一病不起，自知時日無多，便召集眾人立李存勖為嗣，並叮囑大權在握的哥哥李克寧:“此子誌向遠大，將來一定能完成我的遺願，你要好好輔佐他”。
臨死前命人取來自己的箭袋並將三隻箭交於李存勖，給一支箭叮囑一句話：“此一矢燕王劉仁恭也，背信棄義，幽州不滅，汝切勿南下圖梁；此二矢耶律阿保機也，耶律阿保機曾與我盟為兄弟，然言猶在耳，彼卻效納汴州，汝必為我雪此恨；三矢者，謀逆滅我國家之朱全忠也！兒能折此三矢，父於地下無恨矣。”
說完一命嗚呼，一代梟雄、沙陀崛起的代表人物、五代後唐的奠基人李克用與世長辭，退出曆史舞台！
李存勖稱帝後，追尊李克用為唐太祖武皇帝。