早在1922年，蔡元培和李石曾就曾聯合提出一項改革中國教育行政製度的建議，主張以法國的教育製度為藍圖，實行大學區製。所謂大學區製，即將全國分為若幹大學區，每區內設立一所國立大學，大學區以內的中小學教育和社會教育，都由大學負責辦理；每一大學區就是一個獨立的教育行政単位。1927年後，在蔡元培擔任大學院院長期間，曾在江蘇、浙江和北平等部分地區，先後推行過這種大學區製。
南京政府建立後，蔡元培被任為國民政府教育行政委員會委員。6月，蔡元培向南京政府提出變更教育行政製度，改教育部為大學院，並在全國實行大學區製的議案。蔡元培認為“近來官僚化之教育部實有改革之必要，欲改官僚化為學術化，莫若改教育部為大學院”。提議以大學區為教育行政単元，區內教育行政由大學校長處理。蔡元培想通過改變名稱和改變個別具體製度的辦法，來達到改變國內教育狀況的目的，是不可能實現的。
六、七月間，南京政府的中央政治會議先後通過設立大學院和實行大學區製的決議。教育行政委員會奉命籌劃大學區案，並擬定了《大學區組織條例》。按照這個條例，把全國分為若幹大學區，各區設校長一人綜理區內一切學術與教育行政事項，各大學區設評議會、秘書處及研究院，並設高等教育，普通教育及擴充教育三部。八月間，教育行政委員會決定在江蘇、浙江兩省試行大學區製。於是將浙江省的一些公立專門學校合並成立第三中山大學，後改稱浙江大學，以蔣夢麟為校長，稱浙江大學區；江蘇省的一些公立大專學校合並成立第四中山大學，後改稱中央大學，以張乃燕為校長，稱中央大學區。
7月，南京政府公布了《大學院組織法》。組織法規定大學院為全國最高學術教育機關，管理全國學術及教育行政事宜。設院長一人總理全院事務。大學院設大學委員會，由各學區校長、本院教育行政處主任及院長聘請專門學者五至七人組織之，議決全國學術上一切重要問題。大學院還設秘書處、教育行政處及中央研究院等機構。蔡元培在1928年4月間的一次談話中，曾列舉他關於設立大學院主張的三個特點：“（一）學術教育並重，以大學院為全國最高學術教育機關；（二）院長製與委員製並用，以院長負行政全責，以大學委員會負議事及計劃之責；（三）計劃與實行並進，設中央研究院為實行科學研究，設勞動大學提倡勞動教育，設音樂院藝術院實現美化教育。”10月1日，大學院成立，蔡元培被任為院長。原來的教育行政委員會即告結束。
十1928年6月，蔣介石從奉係軍閥手裏奪得了華北地盤。於是，南京政府又決定在北平實行大學區製。
這一時期，隨著全國政局的激蕩，北京大學也發生了很大變化。1927年第一次大革命失敗後，東北和華北地區仍由奉係軍閥張作霖割據。張作霖初進北京時，就把具有民主傳統的北京大學，視為眼中釘，屢加摧殘。7月，奉係軍閥政府教育部提出改組計劃，決定取消北京大學，將北京的國立九校合並成立所謂京師大學校。8月6日，張作霖頒布改組北京所有國立專門以上學校的“大元帥令”，宣告京師大學校正式成立。按照《國立京師大學校組織綱要》規定，原國立九校的每個學校改為京師大學校的一個科，北大則分為兩個科。原北大的文、理科改為京師大學校的文理兩科，原北大的法科各係合並到原北京法政大學，稱為法科第二院。京師大學校校長由軍閥政府教育總長劉哲兼任。由胡仁源、秦汾、林修竹分別擔任文、理、法三科學長。京師大學校實行一套極端腐朽的教學製度，強迫學生讀經義，學闈墨；為了維護封建道統，竟下令男女學生要分座聽講。原北大的教授隻剩下十之二三，新教員多是由奉係軍閥的昏庸官僚兼任，或是通過裙帶關係使一些不學無術的人充任教授。這時，軍閥官僚的子弟親友，可以不經考試特準入學，他們升級也可以不經過學年考試。這使北大由原來的資產階級辦學道路向封建主義的辦學道路倒退，學校的教學和科學研究都受到了嚴重摧殘。同時，他們在政治上采取高壓政策，校內進步組織被摧毀殆盡。師生們曾把這一時期稱之為“穢風腥雨，暗無天日”的黑暗時期，因此他們迫切要求改變現狀，恢複北京大學的原貌。
1928年4月，在英美帝國主義的支持下，蔣、馮、閻、桂四派新軍閥聯合對奉係軍閥展開了一場爭奪地盤的“北伐”。6月3日，張作霖被迫放棄北京，退出關內。依附奉係軍閥的劉哲和他們的一群親信也作鳥獸散。北京大學師生從這時開始進行複校運動，並發表《北大複校宣言》。宣言中說：“我們北京大學受軍閥惡勢力的摧殘已經整整一年了。……但是我們時時刻刻忘不了恢複我們的北京大學。北大固有的精神仍然卓然存在。”但當時還有許多同學對蔣介石新軍閥的麵目缺乏認識，在這個宣言中，把張作霖敗退關外，看作“一切軍閥的走狗，無不銷聲匿跡”，把新軍閥取代舊軍閥，錯誤地認為是“北伐的成功”，北京大學將因此“而複活了”。但是，在事實麵前，學生們的這個幻想很快破滅了。