1904年夏，兩人東渡日本，考察教育。下決心找到日本明治維新僅僅30年就轉弱為強的原因。他們的結論是：中學居於小學和大學之間，是培養人才的重要階段。於是決定先辦中學，以後再向小學和大學擴展。1904年10月17日學校開學，招收學生73名，其中一名學生是梅貽琦。20多年後，梅貽琦成為清華大學校長，執掌清華帥印近20年。
張、嚴精神感動了許多開明士紳，有人捐款，有人獻地。1907年，在天津舊城西南一塊獲贈的鹽堿荒地上，兩人蓋起了新校舍。因此地被稱為“南開窪”，所以校名改為“南開中學堂”，也就是今天的南開中學。
為了開辦大學，1917年8月，張伯苓赴美取經。他就讀於哥倫比亞大學師範學院，師從著名教育家杜威。盡管已經41歲，但他甘當學生，孜孜鑽研。1918年冬，張伯苓回國，1919年9月，南開大學成立，設文、理、商三科，教師17名，學生96名。這第一屆學生中就包括周恩來，他被張伯苓準予免試進入文科。
1936年，張伯苓多方籌措資金，在重慶沙坪壩買地800畝，建起了南渝中學，後改名為重慶南開中學。學校於1936年9月開學，招收學生200多名。不久，“七七事變”爆發，中日全麵開戰，天津南開中學的師生輾轉撤到重慶南開。隨後，國民政府遷都重慶。張伯苓建立重慶南開中學的先見之明和雷厲風行，被眾人稱為鬼神之功！隨著重慶南開聲望大振，學生人數急劇增加，達到1500多名，其中竟有香港的年輕人跋涉幾千裏到重慶南開求學。
南開中學建校之初，張伯苓根據他對當時中國現狀和中國人的深刻認識，製定了三大教育政策——愛國教育、科學教育、體育和藝術教育。
張伯苓提出了“允公允能 日新月異”的南開校訓。他說：“惟其允公，才能高瞻遠矚，正己求人。”張伯苓還把愛國教育與學生行為舉止、自身修養結合起來。南開中學的教學樓裏有一麵大穿衣鏡，上端橫匾上鐫刻著40字箴言：“麵必淨，發必理，衣必整，鈕必結，頭容正，肩容平，胸容寬，背容直；氣象：勿傲，勿暴，勿怠；顏色：宜和，宜靜，宜莊。”當年，美國哈佛大學校長伊裏奧來南開參觀，發現學生的精神狀態、言談舉止、儀表風度與其它學校明顯不同，便問張伯苓原因所在。張伯苓把他帶到穿衣鏡前，將上麵的箴言細細解釋。伊裏奧聽後十分欽佩，回國後逢人便講，於是這件事就在美國傳開了。不久，美國洛克菲勒基金會派人來到南開，將鏡上的箴言拍攝下來，刊登在美國的報紙上。
張伯苓酷愛體育，早在嚴館時代，就開設了體育課。南開中學成立後，體育被列為必修課，不及格者不準畢業。體育課的考試，不僅考各項運動的技巧，還考筆試——各種運動的規則。當時的天津有9塊外國租界地，有多支體育運動隊。南開的足球隊挫敗了不可一世的英國隊、俄國隊和世界聯隊。由“南開五虎”組成的南開籃球隊更是享譽全國，他們不僅擊敗國內無數強隊，而且擊敗了遠東運動會的冠軍菲律賓隊。早在1907年，張伯苓在一次演講中就提出：中國人要參加奧運會。1932年，第10屆奧運會在美國洛杉磯舉行。張伯苓精心策劃操辦，張學良慷慨捐款資助，終於使中國人第一次出現在奧運會賽場——劉長春參加了短跑比賽。所以，專家認為：誰代表中國出現在洛杉磯是偶然的，張伯苓才是使中國人走上奧運舞台的真正英雄，他是中國奧運第一人。
1916年，張伯苓應邀在沈陽作了題為《中國之希望》的演講。張學良是台下的聽眾之一，他此時雖貴為“張大帥”公子，但內心苦悶。聽完演講，他精神大振，從此立誌發奮救國。他對張伯苓一直感念不忘，始終以師禮事之。1930年，已是陸海空副總司令的張學良到南開大學視察，他對南開師生深情地說：“我之所以有今日，張先生一言之力也。”1936年初，張學良秘密來到延安與紅軍談判。當他看到對方是周恩來時，開口說道：“我們有一個共同的老師——張伯苓先生。”1996年，在張伯苓誕辰120周年前夕，張學良特意書寫了“桃李滿天下”幾個大字紀念張伯苓，這也是他的最後墨寶。