蔡元培的一生中最濃墨重彩的一筆是他擔任北大校長時的作為。蔡元培入主北大，是中國現代教育史和文化史上最重大的事件之一。在此之前，我們對於怎樣辦大學並無成功經驗，也沒有一所優秀的大學可為其他大學的楷模。蔡元培對北大的改造完成了這一任務。民國以後，京師大學堂雖然已經改名為北京大學，但當時的北京大學仍然具有濃厚的官場習氣，以至於被人們稱為“官僚養成所”。學校像一個衙門，少有學術氣息。顧頡剛回憶說，當時的北大，教師無心教書，隻想當官；學生大多都是紈絝子弟，根本無心學習，把時間和精力都用在了吃花酒、捧名角上，還頻繁出入花街柳巷。當時的人們戲稱，出入“八大胡同”的主要是“兩院一堂”的人，其中的“一堂”就是指北京大學（即原京師大學堂）。得到北洋政府邀其出任北京大學校長的消息，許多朋友勸蔡元培不要赴任，認為北大太腐敗，搞不好還要敗壞自己的名聲。蔡元培在孫中山先生的支持下，毅然赴任，開始了他一生最輝煌的事業。
良好的師資是建立一所優秀大學的必要條件，蔡元培上任伊始，第一件事情就是網羅天下英才。他“三顧茅廬”，用真情說服陳獨秀來北大擔任文科學長。他又禮遇留美哲學博士胡適，把年僅27歲的他聘為教授。蔡元培甚至破例把隻有高中文化程度的梁漱溟聘為教授，選拔人才可謂不拘一格。此後，蔡元培先後邀請李大釗、魯迅、錢玄同、劉半農等人來北大執教，這些人皆一時之才俊，北京大學真正成為中國的智慧中心。人才的具備僅僅是辦學的必要前提，一所大學的好壞，最關鍵的還是要看他的精神，因此，蔡元培把最大力氣花在了對北大精神的塑造上。他提出了“思想自由，兼容並包”的辦學原則，這一原則至今仍是北京大學最為寶貴的精神財富。當時的北大，既有激進派的錢玄同和劉半農執掌教鞭，也有頑固派如黃侃等登台授課。甚至像辜鴻銘這樣的極端守舊派，都拖著大辮子遊蕩在北大的校園裏。自由、寬容的精神就這樣植入了北大的精神裏。蔡元培在北大做的另一件大事就是在大學裏開男女同校之先河。1920年，北大招收了曆史上第一批女學生，此事在京城轟動一時。
蔡元培還是中國科學事業的奠基人之一。1924年，孫中山提出籌建中央研究院作為全國最高的科學研究機構。1928年，中研院正式成立，蔡元培出任院長，直至逝世。在蔡元培的領導下，中研院成就斐然：紫金山天文台成為中國天文學研究中心，李四光在長江中下遊發現了第四紀冰川的遺跡，曆史語言研究所在殷墟發現了大量青銅器和甲骨卜辭，把中國古代史上推近千年，等等。蔡元培的一生，其實就是中國近代化的縮影。蔡元培逝世後香港各界贈送的挽聯，可為其一生的寫照：
打開思想牢籠，解放千年知識囚徒，主將美育承宗教；
推轉時代巨輪，成功一世人民哲匠，卻尊自由為學風。