1893年，張之洞的漢陽鐵廠已經進入到最後的建設階段。這一年的11月，張之洞上書朝廷，提出在武漢設立新式學堂。張之洞認為，想要自強，必須先要培養人才，所以他將這個新辦的學堂命名為“自強學堂”。在這裏，張之洞又創造了一個中國第一：中國近代教育史上第一所真正由中國人自行創辦和管理的新式高等專門學堂。
自強學堂開辦之初，設方言、算學、格致、商務四門，每門招收20名學生，專門培養外語和商務人才。這裏所說的方言和今天所說的方言並不是一個概念。按照今天的理解，所謂方言就是在漢語的範疇內，中國各個地方專屬的地方性語言。基本上每個省都有自己的漢語方言，當然，同一個省份也會有不同方言。自強學堂裏的方言課卻不是這個意思，他們所說的方言，其實是指外語，主要教授英語、法語、德語、俄語。算學就是今天所說的數學。格致則源於“格物致知”，是指教授中國傳統的儒家學說。商務則是教授西方的商業理念。
對於不同專業的學生，學堂要求不同。其中對方言一科的學生要求最嚴。按照學堂的規定，方言一科的學生必須住在學堂內，也就是說對他們要實行封閉式管理。對於其他三個專業的學生則不同，學堂並不要求他們住校，隻是每個月對他們進行考核，一月一考，這和今天學校的月考倒是有諸多相似。
自強學堂的錄取條件是“以華文為根底，以聖道為準繩”，強調學生的中文功底和對儒家的信仰。為了能夠確保學生專心學習，學生的生活起居、學習用品完全由學堂承擔。對於學生畢業後的去向，張之洞要求他們為國效力，如果學生畢業後去給洋人辦事，那麼學堂將向他們追繳當初的學費。
中日甲午戰爭中國慘敗，簽訂了屈辱的《馬關條約》，張之洞決心對自強學堂進行改革，以便更好地服務於他的強國計劃。因此，張之洞於1896年對自強學堂進行了以下改革：
一、將算學一門移歸兩湖書院；
二、格致、商務兩門停辦，改為一般課程；
三、將方言一門擴大為英文、法文、德文、俄文四門，每門招生名額擴大到30人，1898年又增加東文（日語），共計五門，至此招生規模達到150人；
四、並入化學學堂，開創自然科學專門教育；
五、增設譯書機構，開創翻譯商務經濟書籍新風；
六、取消生活補助，實行獎學金製；
七、選派13名學生留學日本。
這13人是中國近代教育史上最早的留日學生，他們大多為最早的“同盟會”會員。為此，孫中山先生高度評價張之洞：“不言革命之大革命家。”
1902年，清廷管學大臣張百熙在《奏辦京師大學堂疏》中稱：“查京外所設學堂，已曆數年，辦有成效者，以湖北自強學堂、上海南洋公學為最。”
1901年1月，因為八國聯軍進攻北京城而出逃到西安的慈禧太後在西安頒布“變法”上諭，宣布實行“新政”。在此“新政”下，1901年9月，清政府下興學詔，要求除京師已設大學堂應切實整頓外，著各省所有書院，於省城均改設大學堂，各府廳直隸州均設中學堂，各州縣均設小學堂，並多設蒙養學堂。