戊戌變法時期，張謇參與創辦了京師大學堂。他還為劉珅一起草了《變法平議》，在他的心目中形成了創建初、高等兩級小學以及中學的設想。張謇深知普及國民教育，培育人才需要從小學開始，然而沒有師資力量，就不可能興辦小學。教育要構成一個體係：師範--小學-一中學--高等專科--大學校，還要有職業學校和技校相輔助。
早在1901年，張謇就極力鼓動兩江總督劉珅一興辦新式學校，建議先興辦師範學校，然而張謇卻失望而回。張謇決定回到通州自己興辦師範學校。
1902年8月，張謇在通州千佛寺興辦了通州師範學校。1903年4月27日通州師範學校正式舉行了開學典禮。張謇聘請了著名的學者王國維當教師，那時候清政府已經廢除了科舉考試，所以報考的人非常多。
張謇為了給女子創造就學的機會，興辦了女子師範學校。張謇十分重視師範教育，覺得它是提高國民素質的前提。
自1903年開辦南通師範學校起，張謇在通州地區依次開設了大學一所、專科六所、師範三所、中學若幹所、小學三百一十五所，培養了許多人才，使得通州的文化教育水平一躍成為全國第一。
張謇還積極從事通州地區的文化、衛生、慈善事業，他除了1905年開設了通州博物苑以外，1912年還開設南通圖書館和南通醫院，1906年又創辦了育嬰堂，1913年創辦了養老院。
張謇強調在教育中多向學生教授實業知識，使學生成為有用之才。在辦學中，張謇廣泛開辟實業方麵的專科，他還陸續開辦了上海吳淞商船學校、鐵路學校等等，培育了大批中等專業人才。
為了源源不斷地給民族紡織業輸送優秀人才，1912年，張謇出巨資創辦南通紡織專科學校。他還從大生紗廠裏挑選了一些有上進心的青年來校深造，為大生紗廠的發展注入新鮮血液。
張謇借助自己的地位和聲望，替一些著名學校的創辦大聲疾呼，給予了很大的支持與扶助。比如複旦學院、震旦學校、中國公學等等，張謇都為之傾注了滿腔心血。由於張謇對於中國現代教育事業的巨大貢獻，被選為江蘇教育會會長以及中央教育會會長。
張謇將實業與教育看成是強國之本，認為："以國家之強，本於自治；自治之本，在實業、教育；而彌縫其不及者，惟賴慈善。"