胡適當過兩次校長。第一次在他的母校——上海中國公學，第二次在被他視為母校的北京大學。有意思的是，兩次當校長都為政治原因而離任，但是他所堅持的辦學模式、教育理念、思想原則、文化追求，卻是一筆豐富的遺產，值得仔細清理、認真研究、不斷學習、好好繼承。
胡適就任中國公學校長是在1928年春天。這所學校成立於1905年，是由中國留日學生創辦的。當時日本文部省公布了《取締清國留日學生規則》引起中國留學生強烈抗議，陳天華憤而蹈海，大批留學生退回上海，自行籌辦了這所學校。1906年至1909年，胡適曾在這裏讀書，從他的《四十自述》中可以看出，該校對他的成長起過至關重要的作用。
胡適離開中國公學後，以庚款留學生身份赴美國留學。學成回國後，一直在北京大學任教。1926年7月，他借出席倫敦“中英庚款委員會議”之機做環球旅行。沒想到1927年4月即將回國的時候，中國政局發生了翻天地覆的變化。從許多朋友的來信中，可以看出這種變化對胡適非常不利。
張慰慈說：“現在北京一般人的口都已封閉，什麼話都不能說，每天的日報、晚報甚而至於周報，都是充滿了空白的地位，這期的《現代評論》也被刪去兩篇論文，這種怪現象是中國報紙的曆史上第一次看見。同時一切書信與電報都受到嚴格的檢查，聽說被截留的甚多，並且無故被捕的人也不少。上海的情形也與北京相同。”
高夢旦也說：“時局混亂已極，國共與北方鼎足而三，兵禍黨獄，幾成恐怖世界，言論尤不能自由。吾兄性好發表意見，處此時勢，甚易招忌，如在日本有講授機會或可研究哲學史材料，少住數月，實為最好之事。”
麵對這種局麵，胡適在日本稍事停留後還是回到上海。因無法返回北京大學，他隻好就任光華大學教授並在東吳大學兼課。第二年春天，中國公學爆發學潮，學校董事會先後推舉於右任、蔡元培出任校長都被學生拒絕，理由是“於、蔡二人道德學問雖好，可惜兼職太多，恐不能專心辦學。”無奈之下，關心公學命運的王雲五、朱經農等人找到胡適，請他出山，以解危難。
在朋友勸說下，他答應維持兩個月，到本學期結束後就辭職。即便如此，他也有點後悔，認為這是給自己“套上一件鐐銬”，兩月後胡適提出辭職，校董會為了挽留他，特設副校長處理行政事務讓他有更多的時間從事學術研究。
胡適上任後，受到師生的熱烈歡迎。他發現學校連一本正式校規都沒有，便首先召開校務會議，通過“校務會議組織大綱”、“教務會議組織大綱”和“學校章程起草委員會”等議案。他說：“我想從組織與法律兩方入手，不知有效否？”
有了規章製度以後，胡適對學校事務便采取無為而治的態度。副校長楊亮功說：“胡適對於學校行政常以‘無為而治’自嘲，實際上他是以無為而為，與自然主義教育家盧梭以不教而教同是一樣的態度。胡適隻注意於學校的重要問題，付與各主管以事權，並為之排除困難，因此養成各人自動自發的工作精神。”
所謂“無為”，並不是什麼也不幹。胡適上任時，全校共有三百多學生，分散於四個學院十七個係，致使學校經費異常困難。為此，他大刀闊斧地裁掉工學院、法學院和經濟係，隻設文理學院和社會科學院以及中文係、外語係、哲學係、數理係等7個係。為了溝通文理，他親自兼任文理學院院長，讓有誌於數理的人學點文史知識，有誌於文史的人學點自然科學。事實證明，胡適的這一做法效果很好，比如吳健雄當年是數理係的學生，卻肯在文科方麵下很大功夫。有一次她還在胡適指導的作文課上獲得100分，這件事不僅對吳健雄的影響很大，也成為胡適津津樂道的話題。