為了提高教學質量，胡適請來一大批著名的學者前來任教，其中有人們熟悉的高一涵、張慰慈、楊亮功、羅隆基、梁實秋、鄭振鐸、陸侃如、馮沅君、全增嘏、葉公超、饒孟侃、黃白薇等。這裏特別要指出的胡適用人不僅看學曆，更注重學力。比如他當時延聘沈從文，人們就有非議，覺得沈從文僅僅是小學畢業，又沒有學術論文，怎能到大學上課？何況沈從文還不擅言詞，第一次登台就因為膽怯，在講台上站了十分鍾說不出一句話，搞得非常尷尬。但是胡適卻堅信自己的眼力，後來沈從文也的確是深受學生的歡迎。這在今天簡直是天方夜譚，是不可思議的事。
在胡適的努力下，中國公學很快改變了過去的形象。一年間，學生由300多人猛增至1300人。後來，一位學生在寫給胡適的信中說：“中國公學我不敢說它好，但我可以說它奇特，為什麼呢？思想自由，教職員同心協力，有向上的精神，沒腐化的趨勢，就憑這點，在全中國可說是找不到的。”他還說，我的進步應該“感謝您和陸先生（侃如）、沈先生（從文）的思想言論”。
這種局麵的形成，首先與胡適對“黨化教育”的抵製有關。推行“黨化教育”是國民黨掌握政權後的基本國策。1929年4月頒布的《中華民國教育宗旨及其實施方針》指出：“各級學校之三民主義教育，應與全體課程及課外作業相貫連，……以收篤信力行之效。”隨後公布的《三民主義教育實施原則》規定，在大學設立黨義課程的目的是：“一、應以闡揚孫中山先生全部遺教及本黨政綱、政策及重要宣言為主要任務。二、應以理論事實，證明三民主義為完成國民革命，促進世界大同之唯一的革命原理。三、應依據三民主義，比較批判其他社會主義學說。”此外，大學生還要“一律參加孫總理紀念周及其他革命紀念日，以增進愛護黨國之精神。”把一個人或一種思想神聖化是專製製度的主要特征。它的目的就是讓全體國民變成不會思考的馴服工具。麵對這種局麵，胡適采取了抵製的態度。
胡適為什麼要這樣做呢？任鴻雋在《獨立評論》上發表的兩篇文章，他說：“教育的目的，在一個全人的發展，黨的目的，則在信徒的造成。教育是以人為本位的，黨是以組織為本位的。”因此當人的利益與組織利益衝突的時候，自然要犧牲人的利益了。在這方麵，胡適堪稱大學校長的楷模。
樹立良好學風，已經成為當今學界的一句口頭禪，但什麼是良好學風，卻似乎無人追究。胡適擔任校長後，同事們辦了個《吳淞月刊》，“目的在於鼓勵我們自己做點文字”。為此，他在發刊詞中立了“兩條戒約”：第一要小題大做，不要大題小做；第二“要注重證據，跟著事實走，切忌一切不曾分析過的抽象名詞”。
早在五四時期，胡適就寫過《多研究些問題，少談些主義》。這件事似乎早已成為定論，但是仔細讀一讀他的文章就會有另外的感覺。事實上，當年胡適反對的正是“一切不曾分析過的抽象名詞”。他認為隻知道高談主義卻不想研究問題的人是“畏難求易”的懶漢，而“偏向紙上的主義是很危險的”。
1928年7月，胡適決定繼續擔任公學校長時寫了一篇題為《名教》的文章。這篇文章是“問題與主義”思想的繼續。文章說，所謂名教就是信仰“名”、認為“名”是萬能的一種宗教。什麼是“名”呢？胡適認為“名”就是字或曰文字，而名教就是崇拜文字的宗教。他說，名教的具體表現不可勝數，從古人生辰八字、名號避諱，到如今的標語口號都是名教的“正傳嫡派”。比如革命者貼一張“打倒帝國主義”與豆腐店老板貼一張“對我生財”完全一樣。他還說：“南京有一個大學，為了改校名，鬧了好幾次大風潮，有一次竟把校名牌子抬了送到大學院（當時的教育部）去。”