梁太祖朱溫遷都到洛陽，由於這時朱溫占領了中原大地國庫日漸充盈，於是下令給帳下文武官員補發全部俸祿，文武百官皆大歡喜。這時河東又傳捷報，劉知俊率兵攻下了延州、翟州。
劉知俊原為感化軍節度使時溥手下將校，大順二年（公元891年）在梁軍攻打徐州時帶領二千部下歸降了朱溫。劉知俊作戰英勇，在梁軍中屢立戰功，朱溫升任他為左開道指揮使，因而劉知俊以“劉開道”之名威震各軍。後又曆任海、懷、鄭三州刺史，跟隨朱溫破青州後被封為匡國軍節度使。天佑三年冬，劉知俊帶兵五千在美原破李繼徽兵六萬，殺得邠、歧兵聞風喪膽，連下鄜、延等五州，被朝廷封為校檢太博，同平章事。
三垂崗一戰梁軍敗退以後，晉軍攻打澤州，朱溫封劉知俊為潞州行營招討使，從晉州調劉知俊解澤州之圍，晉將周德威退保高平。歧王李茂貞派保塞節度使胡敬璋攻打上平關，劉知俊又打敗了歧兵保住了上平關。保塞節度使胡敬璋打了敗仗，不久就一命歸西。靜難節度使李繼徽任命手下將領劉萬子代鎮延州。
接任保塞節度使的劉萬子性格暴虐，難以服眾，而且密謀叛變投降梁軍。李繼徽聽到消息後就命令延州牙將李延實設法除掉劉萬子。李延實趁劉萬子為胡敬璋舉行葬禮的機會發兵殺掉了劉萬子，占據了延州。延州馬步軍都指揮使高萬興與他的弟弟高萬金聽到劉萬子被殺的消息帶領部下二千人投降了劉知俊。歧王在鄜城建立翟州，見到劉知俊發兵來攻，翟州守將也望風而降。
公元909年三月，朱溫帶領大軍離開洛陽，任命山南東道節度使楊師厚兼潞州四麵行營招討使去攻打李茂貞和李繼徽。十五日朱溫到達河中，命令劉知俊與高萬興合兵攻打丹州和延州。二十六日丹州刺史崔公實獻城投降。四月劉知俊大軍繼進攻打延州，李延實死守城池。劉知俊分兵，派白水鎮使劉儒去攻打坊州。不久延州被攻破，李延實投降。自此劉知俊在這次戰鬥中攻下了丹（今陝西宜川北）、延（今延安境內）、鄜（延安富縣）、坊（延安黃陵縣上城）四州。朱溫封高萬興為保塞節度使,牛存節為保大節度使.對劉知俊更是加官進爵,,封他為校檢太尉兼侍中，大彭郡王。
大梁皇帝朱溫雖然對劉知俊大加封賞，但心中對那些手中掌握兵權功高勢大的武將向來存有戒心。而劉知俊也是由於打了不少勝仗，心中滋長了驕傲情緒，有點目空一切。朱溫命令他乘勝攻打邠州，劉知俊竟然以軍糧缺乏等借口按兵不動。
正在這時候發生了一件事，大大震動了劉知俊，那就是鎮守長安的佑國節度使王重師被殺並夷族。王重師也是梁軍中一員猛將，在戰場之上屢立戰功。朱溫到河中以後怒其不能按時提供供應，決定把他召回朝廷，而派左龍虎統軍劉捍到長安做佑國軍留後。劉捍到長安以後王重師對這位梁太祖朱溫的權臣非常看不起，接待之時總是連罵帶挖苦。劉捍雖對這位大梁的功臣不敢怎麼樣，卻在心中將王重師恨之入骨。於是他編造了王重師的黑材料，汙蔑他暗通河東和西岐，企圖造反。
朱溫這時已經回到洛陽，剛從丁會叛歸李克用的事件中恢複過來，見到李悍的密報就深信不疑。王重師自持功高，哪裏曉得小人一紙訴狀的厲害，接到朱溫的調令與李悍交接完後就帶領親隨回到洛陽等待梁太祖召見。沒想到還沒見到朱溫就接到被貶為溪州（治所在今湖南龍山縣）刺史的命令。王重師隻好悻悻的去上任，不久朱溫就派人追到任所將王重師賜死並將其全家殺掉。
不久劉知俊也接到朱溫要他回洛陽的命令。劉知俊心中惴惴不安哪敢貿然離開部隊回洛陽，於是派人偷偷去見他的弟弟右保勝指揮使劉知浣。劉知浣讓來人密報劉知俊說：“千萬不要回洛陽，回京必死。”其實朱溫這時並沒有要殺劉知俊的意思，而是要任命他為河西行營都統去討伐河東李存勖。
劉知浣向哥哥發出密報後就請示朱溫說要親自出京去迎接哥哥劉知俊。朱溫也根本沒有懷疑同意劉知浣所請，哪裏想到劉知浣出京以後竟立刻帶著兩家的家眷逃到劉知俊大營中去了。
劉知俊沒了後顧之憂決定叛梁歸歧，他把軍中監軍及不同意造反的人統統繩捆索綁，押送到鳳翔，並向朱溫報告說自己為軍民所留不能回洛陽。劉知俊出兵襲擊華縣，守住潼關，斷絕了梁軍西去的道路。守衛長安的劉捍慌了手腳，劉知俊用重賄收買長安城中守將，將劉捍擒住送往鳳翔，砍了腦袋，也算是給冤死的王重師報了仇。