董卓死後，隨後牛輔也被殺，王允開始以誅殺國賊的首要功臣自居，在如何安排和處理他的舊部時，反複無常，態度極不慎重，他先是想全部赦免董卓的部下，可繼而又對群臣解釋說：“本來，他們是沒有罪的，隻是身不由己，跟隨董卓，所以不得已聽從董卓差遣，犯了錯誤。現在如果給他們突然加上惡逆的罪名，而且特定赦免他們，恐怕反而使他們猜疑恐懼，心理承受不了，所以，赦免他們無罪不是使他們安心的上上之策，還不如讓他們承受懲罰。”
涼州兵是董卓的嫡係部隊，戰鬥力強，而且對董卓最忠心。董卓死後，如何處置涼州兵，是關係王允本人和東漢政權的大事。王允企圖削奪涼州兵將領的兵權，取締全部涼州兵，並且計劃利用關東兵去控製他們。
可是後來有人對王允說：“涼州兵素來害怕雷雲，畏懼關東兵，而今，如果派關東兵去解散他們，涼州兵人人都會擔心性命不保，這樣，很容易引起兵變和混亂。還不如任命皇甫義真為將軍，去擔任涼州兵的統帥，並讓他長期留在那兒，以便安撫軍心。”
王允堅決反對：“這樣絕對不行，關東兵是反董卓的義兵，與我們是同一條路線，現在董卓已死，如果繼續把他們屯駐在險惡之地，雖然安撫了涼州兵，但是關東兵將領會疑心我們不重視他們。”
涼州百姓聽到王允想解散涼州兵的風聲後，便到處傳言，說王允要殺掉所有涼州人，一時之間，整個涼州人心惶惶，一片驚慌。涼州兵將領本來就成了驚弓之鳥，對自己的前途深感憂慮，當他們得知王允要削奪他們的軍權，解散涼州兵的消息後，更是驚慌。絕望的涼州兵尋思：反正是一死，不如死個痛快。於是他們迅速召集軍隊，嚴陣以待，準備見機起事，並且互相傳告：王允不僅沒有絲毫赦免的意思，反而想剝奪我們的兵權，置我們於死地。我們除了聯合起來，別無選擇。
當時，涼州軍中李傕等人歸來時無所依托，本欲解散部隊逃歸家鄉，又怕仍得不到赦免，而涼州軍最有影響和實力的將領是李傕和郭汜，李儒找到了他們說道：“聽長安人議論說欲誅盡涼州人，各位如果棄軍單行，則一個小小的亭長就能抓住你們了。不如率軍東進，攻打長安，為董卓報仇。事情如果成功了，則奉國家以正天下；如果不成功，再走也不遲。”
李傕等人采納了李儒的建議，到處說：“朝廷不赦免我們，我們應當拚死作戰。如果攻克長安，則得天下了；攻不下，則搶奪三輔的婦女財物，西歸故鄉，還可以保命。”
部下紛紛響應，於是同郭汜、張濟等人結盟，率軍幾千人，日夜兼程，攻向長安。
王允聽說後，派董卓舊部將領胡軫在新豐迎擊李傕，胡軫率部投降。李傕沿途收集部隊，他們將所有涼州兵集合起來，誓師進發都城長安，到達長安時已有十餘萬人。
四月八日東漢官兵不堪一擊，不久，李傕、郭汜的部隊便攻陷長安。城陷後，與呂布展開巷戰，呂布雖然勇猛，但是好虎架不過一群狼，更何況他這隻老虎帶著一群綿羊和一群狼作戰，他的軍隊被李傕、郭汜的軍隊衝散，呂布無奈隻好慌忙領兵出逃，在青鎖門停住，招呼王允一同逃走。
王允斷然拒絕，對呂布說：“如果天子祖先在天有靈，能賜福社稷，保佑我們的國家平安無事，我就心滿意足了。如果這一願不能實現，我願意獻出自己的生命，以死來報效朝廷。皇上年紀幼小，少不更事，隻能靠我們來輔助他。國家遭受如此災難，如果棄下皇上，隻顧自己逃命，我實在是不忍心。況且，我身為宰相，不僅不能使國家平安無事，反而導致逆賊的反叛，我的責任重大啊!請你出城以後，多多鼓勵關東豪傑，要常常念及皇上!”說完，便扶著皇帝逃到宣平城樓。