3月初，臨時全會開始籌備，康澤參加了黨務組的準備工作。3月下旬，國民黨臨時全國代表大會開幕。會議推選蔣介石為國民黨總裁，通過了黨章修正案，並決議設立“三民主義青年團”。康澤、陳布雷、陳誠三人起草製定了三民主義青年團的組織要旨，第一條為：“本黨為全國青年意誌之統一，力量之集中以充實國民革命起見，特組織三民主義青年團”；第二條為：“本團以蔣中正先生為團長”；第三條為：“本團為訓練全國青年的公開機關”。
4月下旬，國民黨中央黨部在漢口召開三民主義青年團籌備委員會第一次會議。康澤根據蔣介石有關建立三青團的幾項指示精神，擬定了一個團章提交會議討論。會議決定以康澤草擬的團章為基礎，廣泛吸收各方麵意見，進行適當修改然後再提交會議審定。5月間，三青團籌備會再次開會。康澤在會上作了三青團團章修正草案報告，對有關問題進行了說明。會義通過了這個修正草案，並報送蔣介石批準。
6月16日，蔣介石發表了告全國青年書，接著頒布了三民主義青年團團章。蔣介石還親定了三青團中央臨時幹事會幹事名單，康澤名列其中，並被指定為組織處處長。可是，過了幾天，蔣介石又把康澤找來說：“有人說你年紀太輕，資曆太淺，不能任中央團部的組織處長。”接著，蔣介石問康澤：“你能不能和胡宗南合作？”康澤因和胡宗南私人關係很好，便回答：“能夠。”蔣介石又問：“叫胡宗南做處長，你來代理這個處長，怎麼樣？”康澤表示同意。於是，蔣介石重新宣布：組織處長胡宗南，代理處長康澤。
康澤還就成立三青團的一些原則問題請示過蔣介石。一次，康澤問蔣介石：“是不是可以把複興社的精神移植到三民主義青年團？”蔣介石肯定地說：“當然這麼做。”康又問：“各地三民主義青年團成立的時候，複興社的同誌是不是可以根據他們的誌願率先入團？”蔣介石再次回答：“當然可以這麼做。”過後，康澤將這兩個問題寫成書麵報告，送蔣介石批示後便遵照執行了。另一次，康澤向蔣介石請示說：“凡是一個組織，必須有個核心才能團結得堅固，三民主義青年團的組織也不能例外。請校長考慮一下，確定一個核心。”蔣介石指示說：“當然複興社是核心。”對於蔣介石的訓示，康澤都毫不含糊地貫徹到實際工作中去。
三青團成立之際，蔣介石采納了康澤以北伐誓師的7月9日為團中央臨時幹事會成立日的建議。7月8日晚，蔣介石打電話對康澤說：“明天中央臨時幹事會成立的時候，我要宣誓，你給我準備一個誓詞。”於是，康澤參照孫中山成立中華革命黨時的誓詞，連夜寫出了三青團蔣介石團長的誓詞：“中正誠心誠意領導全國青年，複興中華民族，俾克盡上對億萬世之祖宗，下對億萬之後代，中對全國國民與世界人類所負之責任，謹此誓言，永矢弗渝。”
次日，三青團中央臨時幹事會在武昌成立。幹事會全體幹事、各處正副處長及工作人員參加了大會。三青團團長蔣介石首先宣誓，讀了康澤寫的誓詞。接著，由蔣介石做監誓人，康澤等第一批加入三青團的人進行了宣誓。過後，蔣介石對宣誓入團者訓了話。至此，“三民主義青年團”宣告正式成立，康澤成為其中的重要骨幹。
三青團成立初始，康澤就與三青團中央書記長陳誠搞不好關係。其原因是康澤向蔣介石建議三青團以複興社為核心一事，陳誠事先不知道，他嫉妒複興社，反對以此為核心。康澤自認為有蔣介石指示，就與陳爭吵起來。三青團武漢支團成立時，陳誠選派自己的嫡係郭懺為支團主任。一天下午，蔣介石把康澤叫去問：“武漢支團要成立了，人事怎麼安排？”康澤彙報說：“陳誠書記長已派定了一人選。”蔣介石生氣地說：“要不得！這個支團長你兼！”並立即寫了手令，派康澤兼任三青團武漢支團主任。同年秋，蔣介石把陳誠調至前線指揮軍事，命朱家驊代理三青團中央書記長，康澤與陳誠的內爭，方告一段落。