1928年，羅家倫得到大學院院長蔡元培和外交部部長王正廷的提名推薦，帶著蔣介石的親筆手令，於9月中旬“空降”清華，出任校長。到任之前，他答複清華學生會代表傅任敢，態度誠懇之至：“來辦清華，本係犧牲個人之政治地位，自當以全副精神辦理清華。”羅家倫的就職演說題目為“學術獨立與新清華”，他將教育方針歸納為“四化”：學術化，民主化，紀律化，軍事化。他對清華的設計是：“我們的發展，應先以文理為中心，再把文理的成就，滋長其他的部門。”在就職演說中，他還說：“我想不出理由，清華的師資設備，不能嘉惠於女生。我更不願意看見清華的大門，劈麵對女生關了！”早在1919年5月11日，羅家倫就在《晨報》上發表了《大學應當為女子開放》一文，他認為，中國文明不承認女子有人格，隻能算是“半身不遂的文明”，而隻給女子飯吃和屋住，不給她們受教育的權利，也不是人道主義，而是“豬道主義”。羅家倫有三點主張，“第一，為增高女子知識起見，大學不能不為女子開放”，“第二，為增高女子地位起見，大學不能不為女子開放”，“第三，為增高自由結婚的程度起見，大學不能不為女子開放”，他將女子上大學視為“人道主義的第一聲”。九年後，正是由羅家倫拍板，清華大學實現了男女同校，女生入住古色古香的古月堂，垂花門下，風景這邊獨好。
履新之初，羅家倫先去工字廳拜訪陳寅恪，送上他編輯的《科學與玄學》一書，是張君勱與丁文江的筆戰實錄。陳寅恪翻弄時，靈感拍馬趕到，他說：“誌希，我送你一聯何如？”羅家倫求之不得，起身要去琉璃廠購買上好的宣紙，陳寅恪卻隻肯口授，這副嵌名聯戲謔意味十足，上聯是“不通家法科學玄學”，下聯是“語無倫次中文西文”，橫批是“儒將風流”，大家都覺得聯語有趣，隻是對橫批茫然不解。陳寅恪解釋道：“誌希在北伐軍中官拜少將，不是儒將嗎？你討了個漂亮的太太，正是風流。”
這就有必要補充交代一下，羅家倫的太太張維楨曾是滬江大學政治係的校花級美女，才學甚高，他們在五四運動爆發的那年夏天相識相戀，曆經八年愛情長跑（其間兩人泛洋留學，聚少離多），才結為連理。在抗戰期間，張維楨擔任過“中國戰時兒童保育會”理事（理事長是宋美齡），致力於撫育、教養戰爭孤兒和難童的事業，並且多次以英語演說的方式向外界標舉中國婦女的犧牲精神。有人稱讚她為“女界楷模”，絕非過譽。
羅家倫當清華掌門人，在“做大做強”方麵狠下了一番工夫，“做強”容或有爭議，“做大”則是瞎子也無法否認的事實。1928年9月13日，蔡元培致信羅家倫，婉勸後者上任後不要把攤子鋪得太開：“鄙意清華最好逐漸改為研究院，必不得已而保存大學，亦當以文理兩科為限。若遍設各科，不特每年經費不敷開支，而且北平已有較完備之大學，決無需乎複重也。”羅家倫尊重恩師，在這件事情上卻獨持己見，他上任後把清華的工科提升到了與文、理科同等重要的地位，到梅貽琦任清華校長時，清華的工科成為了全國各大學中最好的工科，可謂由來有自。羅家倫憑仗蔣介石對自己的信任，充分利用國務會議中的人脈資源，將清華留美預備學校一舉升格為國立清華大學，將清華基金轉交給中華教育文化基金董事會代管，擺脫外交部的控製，歸屬教育部獨家管轄。清華每年除了有額定的教育經費到賬，還可動用基金四十萬元，單就經費寬裕而論，當時的國立大學中，清華是天之驕子。有錢就好辦事，羅家倫大興土木，建造全新的圖書館（嗣後他派人購入杭州楊氏豐華堂的大量善本書尤稱眼明手快）、生物館、天文台、大禮堂、學生宿舍、教職員住宅等硬件設施。曆史係主任蔣廷黻曾善意地提醒道：“我們是在創辦一所大學，不是建造一座宮殿。”殊不知，羅家倫心目中有一個大清華的輪廓，為此規劃宏遠。1931年，梅貽琦出任清華大學校長，他之所以能夠標榜“所謂大學者，非謂有大樓之謂也，有大師之謂也”，是因為清華大學的大樓已臻完善，無須再事營造，這份勞績理應算在羅家倫頭上，他用不足兩年的時間做了別人耗費五年甚至十年都很難辦成的事情。
大學好不好，就看明師和名師多不多。羅家倫認為“羅致良好的教師，是大學校長第一個責任”，為了提高清華教授的整體水準，他采取了重發聘書的措施。1928年10月29日送出十八份教授聘書，為期一年。原來清華有五十五名教授，這就等於解聘了其中的三十七人。最難辦的是解聘某些外籍教師，有人擔心會因此引起國際幹涉，羅家倫則認為，隻要師出有名，就能理直氣壯，完全可以排除各方麵的阻力。一位荷蘭籍的音樂教授教女生彈鋼琴而有失禮行為，羅家倫當即將他解聘，然後寫信給荷蘭公使，詳述緣由，此事做得妥帖，什麼風波也沒發生。革除故弊，補充新血，羅家倫延攬了一大批學有專長的著名教授，如曆史學家蔣廷黻、政治學家張奚若、蕭公權、哲學家馮友蘭、文學家朱自清、化學家張子高、地質學家翁文灝、數學家華羅庚等等，多達數十人。這些高手陸續到校任教，壯大了清華大學的教員陣容。劉備三顧茅廬，請動高臥南陽的諸葛亮，成為千古佳話，羅家倫羅致文科人才，也有過堪稱經典的表現。美國哥倫比亞大學博士、曆史學家蔣廷黻是南開大學的台柱子，羅家倫要強行挖走這棵“大樹”，聘他為曆史係主任，應該說希望渺茫。張伯苓校長固然不肯放人，蔣廷黻礙於情麵，也不宜改換門庭。但羅家倫坐功好，耐力強，他說：“蔣先生若是不肯去清華任教，我就隻好坐在你家客廳中不走了！”這可不是開玩笑的，有誠意，也有決心，蔣廷黻吃不消，隻好點頭。十餘年後，羅家倫在貴陽清華同學會的演講中提到這一點時還特別得意，他說，“我心裏最滿意的乃是我手上組織成功的教學集團”。誠然，在20世紀30年代，清華鼎盛時期的名教授中許多是由羅家倫聘請來的。