1907年，70歲的張之洞結束了他在湖北近20年的任期，受命進京。離開湖北，張之洞還是很不舍的。他在湖北苦心經營了十多年，工廠、學校、鐵路、新軍等等，都搞得有聲有色。他整天忙於這些洋務，雖然很累，但是感到很充實，畢竟他是立誌要做一番事業的。如今，朝廷調他進京，這就意味著他將要進入中央政府，權力肯定要比以前大。但是，中央政府不止他一個人，人一多，意見就不容易統一，難免要發生衝突，做起事來要受到不少牽製。這和他在地方上的情況很不一樣，地方上的事他可以一人說了算，做什麼都比較自由。不過，不舍歸不舍，畢竟這是升官了，總體說來還是一件好事。
武漢到北京，全程2000多裏路，這麼遠的距離，如果是在10年前，一路的顛簸就夠這位70歲的老人受的了。現在就不一樣了，京漢鐵路已經全線通車一年多，這一年多的時間了，也沒出現什麼大亂子，火車穩穩當當地在北京和武漢之間穿行。這一次張之洞進京就是坐火車。
火車從武漢出發，一路向北。張之洞坐在他的豪華車廂裏沒有感到絲毫的不適。透過車窗，他饒有興致地欣賞著鐵路沿線的景致。火車剛從武漢出來時，偶爾還能看到遠處的山峰，等過了豫南，一直到北京，目力所及之處，便都是不見邊際的大平原。有這千裏沃野，應該是衣食無憂了，可是，鐵路沿線破舊的民居讓張之洞意識到，此時的中國百姓是何等的窮苦。看來，大清國的富強之路還很漫長，張之洞所肩負的責任依然沉重。
其實，慈禧太後在八國聯軍侵華之後就有意調張之洞進入中央政府，這當中的考慮是多方麵的。首先，張之洞在地方任職多年，他的政績有目共睹，確實是難得的人才，調他進入中央政府，對於鞏固清王朝的統治自然是有益處的；其次，慈禧太後在1900年向“萬國”開戰，這使得她和列強之間的關係變得緊張起來，而張之洞籌劃“東南互保”，和洋人的關係搞得不錯，調張之洞進京，有助於緩解慈禧太後和洋人緊張的關係；再有就是，張之洞在湖北經營多年，如果他有私心，必然會在湖北培植自己的勢力，將他調離湖北，也便於朝廷對他的控製。但是，此時的張之洞並不願意進京，一來是因為南方的很多大型工程都是他在主持，尤其是粵漢鐵路還沒有建成，離不開他；二來是張之洞心裏清楚，老佛爺剛和洋人打完仗，此時進京，肯定是去收拾殘局的，甚至還得在割地賠款的條約上簽字，這是要背上千古罵名的事，張之洞無論如何是不會答應的。所以，盡管慈禧太後想調他進京，他還是找足了借口推辭了。
後來，朝廷開始實施“新政”，這倒是很合張之洞的胃口。由於他對“新政”的積極態度，朝廷讓他協同參與“新政”，就是借著這個機會，他把在中國延續了近1300年的科舉考試給徹底廢除了。
1907年，朝廷準備“立憲”。所謂“立憲”，就是要把君主專製的大清國，改成君主立憲的大清國。“立憲”之後，皇帝再也不能獨攬大權了，大清國的大小事務都得按照憲法來定。“立憲”是涉及國家根本製度的大事，必須要由有能力的人來主持。而當時的中央政府是找不到合適人選的。慶親王奕劻營私有術，治國無方，難當大用。1917年奕劻病死，諡號為“密”，是清代親王諡號中最差的一個字（《諡法》：“追補前過”曰“密”）。而就是這麼一個人，竟然是皇族裏為數不多的能參政的人。皇族權貴靠不住，隻能寄希望於漢族大臣。可是，此時李鴻章已經去世6年，他的繼任者不論是經驗、聲望、能力，都無法擔此重任。中央已經無人可用，慈禧太後隻能從地方大員裏找人來應急。於是，熱衷於“新政”的張之洞、袁世凱等人成為朝廷的首選。
在準備“立憲”的背景下調張之洞進京，這與之前的情況已經大為不同。朝廷讓他進京主持新政，這是要給他更大的權力，讓他做更大的事，是要讓他把他在湖北做的那些事放到全國去做。這對張之洞來說無疑是很有誘惑力的。而且，此時的張之洞實力、地位、聲望都已經有了極大的提升，他無疑是能夠令各界都滿意的不二人選。在這種情況下張之洞進入中央政府已經是順理成章的事了。
而促使張之洞調入北京的直接原因則是軍機處的一次政治鬥爭。當時，慶親王奕劻和軍機大臣瞿鴻機（1850—1918）發生了矛盾。奕劻彈劾瞿鴻機想要“歸政”光緒皇帝，這是慈禧太後不能容忍的，瞿鴻機因此獲罪，被趕回了老家。隨即，朝廷就將瞿鴻機空出來的職位授予了張之洞。於是，張之洞開始了他軍機大臣的生涯。
軍機大臣任職於軍機處，是清代協助皇帝處理軍國大事的重要人員。軍機處則是清代特有的、用於輔佐皇帝的中樞權力機關。1729年，雍正皇帝出兵西北，為便於軍事調度，設軍機房，3年後改稱為辦理軍機處，簡稱軍機處。軍機處的設立是清代中樞機構的重大變革，標誌著清代封建中央集權發展到了頂點。但凡能進入軍機處的，都是深得皇帝信任的。事實上，從軍機處設立到清末廢止，擔任過軍機大臣的人可謂是寥寥無幾，而且大多數都是滿族親貴，漢人擔任軍機大臣的更是鳳毛麟角。此次張之洞進入軍機處，足見朝廷對他的重視。