1902年，清政府的教育改革催生了眾多新式學堂，新式學堂的出現對於教師隊伍是個嚴峻的考驗——傳統教育體係中的教師很多都難以應對新的教學環境，要確保新式學堂能夠順利投入使用，培養一批符合新式教育需求的教師尤為緊迫。張之洞是新式教育的支持者，所以，他主政的兩湖對於新式教師的需求非常大。有鑒於此，創辦一所培養新式教師的學校就顯得尤為必要。
1902年，張之洞在武昌開辦湖北師範學堂。這個師範學堂除了普通學堂都開設的課程之外，還專門開設了師範類學校的必修課程，其中有教育學、教授法、學校管理法等。學堂招收120名學生，學製為兩到三年。由於當時急需新式教師，張之洞還開辦了速成班。速成班的學員都是有一定基礎的，一年就可以畢業。由於中國缺乏師範教育的專業人才，張之洞隻得從日本聘請懂師範教育的專業人士。這是我國近代教育史上最早的獨立完備的師範學校。這個學堂專門用於培養小學教師，是我國第一個官辦中級師範學堂。在辦這個學堂的時候，張之洞還派人遠赴日本，考察日本的師範學校。
1902年，兩江總督劉坤一去世，張之洞再次代理兩江總督。在他代理兩江總督期間，他並沒有停下辦教育的腳步，僅僅幾個月的時間，他就又創辦了一所頗有影響的學堂——三江師範學堂。
張之洞在武漢辦的學堂，名字都容易理解，可是，這個三江是指什麼呢？關於學校名字的來源，有兩種觀點。
一種觀點認為，南京當時為兩江總督官邸所在地，而兩江總督所管轄的江蘇、安徽、江西三省均處長江中下遊，也就是古代所指的“揚州”地區。因而“三江”即寓“東南”之意，取名三江師範學堂，既不失古風，又與兩江總督管轄之地有所照應。（相傳大禹治水，分天下為冀、兗、青、徐、揚、荊、豫、梁、雍九州，而“東南曰揚州”；《書·禹貢》“揚州”記載“三江既入，震澤底定”；《周禮·職方》“揚州”也雲“其川三江”，大概是指東南之地河川縱橫、水網交錯。）
另一種意見認為，安徽在曆史上曾屬江南省，“三江”即“江蘇”（或“江寧”）、“江南”、“江西”三省的簡稱。《三江師範學堂章程》第一章第一節就“正名”曰：“本學堂名三江師範學堂，為江蘇、安徽、江西三省之公學。”也許這正是“三江”之名的由來。
張之洞於1902年11月5日到達南京。完成工作交接以後，他給朝廷寫了一封表示感謝的奏折，同時彙報他在兩江的施政方略。因為當時清政府已經頒布詔令要實施新政，所以，在奏折中，張之洞表示，他要在兩江積極響應朝廷的號召，推行新政。同時他也強調，在眾多新政中，最為緊要的是培養人才，如果沒有新人，又怎麼能實施新政呢？出於這樣的目的，他打算在南京辦三江師範學堂，加快人才培養的進度。
為了加快三江師範學堂的創辦，張之洞在1902年底上奏朝廷，請求朝廷準許他設立兩江學務處，專門負責全省各種與學校相關的事務。辦學校需要銀子，為了方便錢款調度，張之洞還特意把銀元局的一位官員調到學務處，此舉確實使籌款方便了不少。
經過一番緊張的籌備工作，建立三江師範學堂的前期準備基本完成，於是，在1903年2月，張之洞正式上書朝廷，申請創辦三江師範學堂。張之洞的《創建三江師範學堂折》開宗明義，重申了“師範學堂為教育造端之地，關係尤為重要”的觀點，強調興辦教育，必須“扼要探源”，把握先後次序。“茲於江寧省城北極閣前，勘定地址，創建三江師範學堂一所，凡江蘇、安徽、江西三省人士皆得入堂受學。”奏折詳盡而又具體地闡述了創設三江師範學堂的理由、意義、章程學製、生員定額、師資來源及構成、辦學經費及籌措渠道等等。
張之洞在湖北辦學堂已近有些年頭，可謂是經驗豐富，這為他辦三江師範學堂提供了很多便利。兩湖書院的畢業生胡鈞曾奉張之洞之命兩次赴日本考察教育，對日本的師範教育有很深的了解，張之洞就把他調到南京，參加三江師範學堂的籌建。張之洞要求他仿照日本東京帝國大學的模式來辦三江師範學堂，學校的章程、學製等都要完備。
1902年底張之洞又選派8人赴日考察教育。此次考察，主要是為了汲取日本師範教育成功經驗而用於三江師範學堂的建設發展。這次赴日考察的人回國後很多都任職於三江師範學堂，達到了當初的目的。