1916年12月，北洋政府教育部任命蔡元培為北大校長。據沈尹默回憶，“蔡元培長北大之來由”是教育部專門教育司司長沈步洲與北大校長胡仁源發生矛盾，沈步洲報眥睚之怨，必欲扳倒胡仁源而後快，他抬出蔡元培，資望、才學均在胡仁源之上，教育總長範源濂也就順水推舟。彼時，蔡元培剛從海外歸來，風塵仆仆，到上海後，許多朋友都勸他不要率爾銜命，北大腐敗透頂，爛到流膿，他若就職，恐怕整頓不力，清譽反受其累。但也有幾位朋友鼓勵蔡元培放手一搏，用手術刀割治這個豔若桃李的爛瘡，給中國教育開創前所未有的新局，縱然敗北，盡心也可無憾。蔡元培的使命感極強，他選擇了銳意進取，而不是臨陣脫逃。1917年1月4日，他到北大視事，著手收拾這個令人掩鼻的爛攤子。
有人說，蔡元培接手北大，是為了做一次安那其主義的實驗，這不是全無道理的。安那其主義信奉者的口號是：“無地球以外的別個，又無他生來世的另一個，要做好就在這一個上做到好，要改良世界就在本街坊內改良。”蔡元培是堅定的安那其主義信奉者，他將北大視為亟待改良的“街坊”，並不奇怪。
北大的前身是京師大學堂，與其稱之為大學，還不如稱之為官僚養成所。這樣的看法是否有點失之武斷？京師大學堂的創辦者張百熙就曾禮賢下士，聘請文章經濟極負時名的桐城派大家吳汝倫任總教習，吳汝倫不肯就任，張百熙便在吳汝倫跟前長跪不起，比程門立雪的楊時更有誠意。吳汝倫也是個認真的人，高齡應聘之後，他一絲不苟，即赴日本考察教育，惜乎病魔窺伺於側，齎[jī，懷抱]誌以沒。1905年，大學堂的管學大臣降格為監督，首任監督張亨嘉發表就職演說，隻有寥寥一語，總計十四個字：“諸生聽訓：諸生為國求學，努力自愛！”放在全世界大學範圍來看，如此言簡意賅的就職演說也是獨一無二的。大學堂的生源很雜，其中有秀才、舉人、進士，甚至還有翰林，因此在運動場上，體育教官會禮貌端端地喊口令：“大人向左轉！”“老爺開步走！”大學堂離學界遠，離官場近，又何足為奇呢？活動能力較強的學生，上乘的做法是獵官，組織同鄉會，巧妙運作，做一任會長或幹事，借以接近學校當局，畢業後即穩獲升官的階梯；下乘的做法是鑽營，用嫖娼、賭錢、看京戲、捧名角來結交社會上的實力人物，以之為借重的資本。民國初年，京師大學堂與國會的參議院和眾議院被外界並稱為“兩院一堂”，其中的各色人物乃是八大胡同鴇兒妓女最歡迎的客源，無非是因為他們腰包鼓脹，喜歡吃喝玩樂，舍得拿大把光洋撐場麵。有的學生一年花銷高達五千銀元，相當於普通人家十年的用度。總而言之，在京師大學堂，烏煙瘴氣和歪風邪氣很盛，唯獨研究學問的風氣蕩然無存。
比蔡元培出掌北京大學晚兩年，1918年12月，美國學者司徒雷登出任燕京大學校長。上任伊始，這位中國通即公開表態，他並不希望燕京大學成為世上和史上最有名的大學，而急切地希望它成為當下中國最有用的大學。司徒雷登主張學術自由，言論自由，教育以求真務實為鵠的（目的），他親訂燕京大學校訓為：“因真理得自由以服務。”（Freedom through Truth for Service）燕京大學是美國教會大學，司徒雷登是美利堅的自由公民，他有此學術觀和教育觀，合情合理，並不令人意外。蔡元培也曾赴歐洲遊學數年，但他畢竟在中國傳統教育體製和封建政治體製下浸潤了半個世紀之久，這位清朝翰林、民國元勳果然能破能立嗎？破要有大勇，立要有大智。“有怎樣的校長就有怎樣的大學”，“所見即所得”，這兩句話在當年還是能夠成立的。北大注定要打上蔡元培的烙印，這既是曆史的偶然，也是曆史的必然。
蔡元培出任北大校長後，迅即發出呼籲：“大學生當以研究學術為天職，不當以大學為升官發財之階梯。”他說：“自今以後，須負極重大之責任，使大學為全國文化之中心，立千百年之大計。”為了矯正學風，蔡元培從消極和積極兩方麵入手：發起組織進德會，發表《進德會旨趣書》，會員必須恪守不嫖、不賭、不納妾的基本戒條（另有“不作官吏、不作議員、不飲酒、不食肉、不吸煙”五條選認戒）；設立評議會，實行教授治校；組織各類學會、研究會，如新聞學會、戲劇討論會、書法研究會、畫法研究會等，使學生養成研究的興趣；助成消費公社、學生銀行、平民學校、平民講演團。
在蔡元培的心目中，“所謂大學者，非僅為多數學生按時授課，造成一畢業生之資格而已也，實以是為共同研究學術之機關。研究也者，非徒輸入歐化，而必於歐化之中為更進之發明；非徒保存國粹，而必以科學方法，揭國粹之真相”，因此大學理應是“囊括大典，網羅眾家”的學府，遵循“萬物並育而不相害，道並行而不相悖”的自然法則。他打過一個極具說服力的譬喻，人的器官有左右，呼吸有出入，骨肉有剛柔，它們相反而相成。蔡元培決意改造北大，並非打碎另做，推倒重來，凡飽學鴻儒皆得以保留教職，更在國內延聘名師，不問派別，不問師從，但求其術有專攻，學有專長。至於不合格的教員，他堅決黜退，決不手軟，不管對方究竟是什麼來頭，有什麼靠山。一名法國教員被黜退後，曾四處揚言要控告蔡元培。一位被黜退的英國教員更加神通廣大，居然搬出英國駐華公使朱爾典這尊洋菩薩來與蔡元培談判，蔡元培堅持成命，不肯妥協。事後，朱爾典怒氣衝衝地叫囂：“蔡元培是不要再做校長的了！”對於這些外緣困擾，蔡元培一笑置之。
誠如馮友蘭所言，“大學應該是國家的知識庫，民族的智囊團。學校是一個‘尚賢’的地方，誰有知識，誰就在某一範圍內有發言權，他就應該受到尊重”。學術乃天下之公器，一致百慮，殊途同歸，蔡元培不持門戶之見，唯致力將北大改造成為中國的學術淵藪。蔡元培的改革理念和舉措，最令人稱道的便是“學術第一”“教授治校”“講學自由”和“兼容並包”。以黨見和政見論，王寵惠信奉三民主義，李大釗、陳獨秀信奉共產主義，李石曾信奉無政府主義，辜鴻銘憧憬君主立憲；以文學派別論，胡適、陳獨秀、錢玄同、劉半農、周作人倡導新文學，劉師培、黃侃、吳梅堅持舊文學。特別是“性博士”張競生，被封建衛道士辱罵為“三大文妖”之一，他在北大講“美的人生觀”，在校外出版《性史》，竭力提倡“情人製”“外婚製”和“新女性中心論”。在半封閉半蒙昧的中國，張競生的言論絕對算得上離經叛道，驚世駭俗，也隻有在蔡元培的保護傘下，他才不會被大眾的唾沫淹死。北大學生辦了三個大型刊物，分別代表左、中、右三派，左派的刊物叫《新潮》，中派的刊物叫《國民》，右派的刊物叫《國故》，各有其擁躉，各有其讀者群，盡管彼此筆戰不休，但相安無事。
蔡元培開門辦學，最具特色的是，學校“三生”共存。“三生”是正式生、旁聽生和偷聽生。正式生是考進北大的學生，旁聽生辦了旁聽的手續，得到了校方的許可，偷聽生則未辦任何手續，自由來聽課的，盡管未獲許可，但也沒人將他們攆出課堂。偷聽生中也是藏龍臥虎，不可小覷，其中的代表人物就有金克木和許欽文。上課前，教授指定專人發放油印的講義，對上課者不問來曆，一視同仁，發完為止。有些正式生姍姍來遲，反而兩手空空，他們也不覺得有什麼好委屈好奇怪的。“來者不拒，去者不追”，聽課之自便由此可見一斑。有人說：“學術是天下公器，‘勝地自來無定主，大抵山屬愛山人’，這正是北大精神的一麵。”偷聽生也因此得到正名了。
當年，北大被稱為“自由王國”。你愛上課，可以；你不愛上課，也可以；你愛上你愛上的課而不愛上你不愛上的課，更是天經地義的準可以。貶低北大的人以此為口實，稱北大是“凶、鬆、空三部曲”，意思是：學生投考時題目“凶”，入校後課程“鬆”，畢業生腹中“空”。還有一種類似的說法：北大把後門的門檻鋸下來，加在前門的門檻上，即謂進校難，畢業易。事實上，北大約束少，最能出怪才。朱海濤有一段回憶文字寫得極到位：“北大的教育精神是提倡自立、自主的……給你逛窯子的機會你不逛，那才是真經得起試探的人。給你抄書的機會你不抄，那才是真有讀書心得的人。將你擱在十字街頭受那官僚封建腐爛的北平空氣薰蒸而不染，那才是一個真能改造中國的人。關在‘象牙塔’裏受盡保護的，也許出得塔門，一陣風就吹散了。”既然行為自由，思想也會同樣自由。當時中國有多少黨派，北大師生中就有多少黨派；中國有多少學派，北大師生中就有多少學派。辦大學，兼容並包其實是非常危險的，弄得好固然可以形成“酒窖”；弄不好呢？就會形成“糞沼”。蔡元培對於中西文化擇善而從，對於各類人才兼收並蓄，使之商量舊學，探討新知，和平共存，不相妨害。他的態度絕無偏袒，他的器局皆可涵蓋，處事公平，無適無莫，大家自然心服口服。
世事無絕對，在北大，鬩牆[xìqiáng，兄弟不和]與內訌總還是有的，而這些響動多半與辜鴻銘和章太炎的大弟子黃侃有關。辜鴻銘對胡適很不買賬，他認為，胡適治哲學史，既不懂德文，又不懂拉丁文，簡直是畫虎成貓，誤人子弟。黃侃也瞧不起洋味十足的胡適，但他對章氏舊同門詆訶更多，罵他們曲學阿世。於是眾人暗地裏戲稱蔡元培為“世”，到校長室去竟被謔稱為“阿世去”，意思是“巴結蔡校長去”。黃侃上課，罵師弟錢玄同有辱師門，罵得相當刺耳，兩人的教室毗鄰，字字句句都聽得清清楚楚，學生不免偷笑，而錢玄同若無其事。
陳獨秀在《蔡孑民先生逝世後感言》中稱讚道：“這樣容納異己的雅量，尊重學術自由思想的卓見，在習於專製、好同惡異的東方人中實所罕有。”陳獨秀尤其應該感謝蔡元培對他的愛護和包容。這位為科學與民主鼓與呼的急先鋒，圭角畢露，鋒芒侵入。他放浪形骸，不檢細行，不拘瑣德，往往予敵對者以攻訐的口實。陳獨秀去八大胡同消遣，甚至遭到過妓女的控告，被警局傳訊，經小報大肆渲染而成為轟動社會的醜聞。盡管陳獨秀運筆如槍，其蓋世神功能夠辟易千人，但若是沒有蔡元培為他屢次三番解圍，攻擊者驅逐他出北大的願望豈會落空？蔡元培是北大進德會的模範會員，“不嫖，不賭，不納妾”這三條，他絕對遵守，但他隻以道德律己，並不以道德責人，這非常不易。蔡元培愛護陳獨秀，因為後者是難得的人才，其言論主張值得會意和同情。
守舊派的頭麵人物林紓原本是讚成“新學舊學並行”的，但新學分子破壞力巨大，竟宣布“古文死了”“孔家店破產了”，使他不免生出“未得其新，先殞其舊”之慨，舊學被打上恥辱的烙印，這尤其令他痛心。一怒之下，義憤爆棚，理智告退，他在上海《新申報》發表小說《荊生》和《妖夢》，前一篇中的人物田必美、狄莫和金心異，分別影射陳獨秀、胡適與錢玄同，說這三人聚在一起詆毀前賢，侮滅斯文，荊生偶然聽到了，於是憤憤不平，怒火中燒，將他們暴打一頓。荊生，即暗指時任陸軍部次長的徐樹錚，此人是段祺瑞的智囊，極為霸道，對新文化運動恨之入骨。後一篇則說作者夢見那班非聖非法的人全被一個怪物捉去吃掉了，其中有個叫元緒公的，即影射蔡元培，將他比作烏龜，用意可謂刻薄。守舊派人物林紓敵視新文化運動，仇視科學與民主，與蔡元培、陳獨秀、胡適、錢玄同等人誌不同道不合，是可以理解的，但他擺出一副急於助紂為虐的模樣，動輒揚言“宜正兩觀之誅”，宣稱要將異己“寢皮食肉”，以恐嚇、謾罵為取勝的手段，這種做法著實令人不敢恭維，斥之卑劣也不為過。