1927年初，朱德遵照黨的指示，來到江西南昌，創辦國民革命軍第三軍軍官教育團，培訓軍事幹部。
南昌位於贛江下遊東岸，是一個具有二千一百多年曆史的古老城市，漢初時已為南方昌盛之地，固而得名南昌。當時，滇軍已改編為國民革命軍第三軍，由軍長朱培德率領，警衛江西全省，並在南昌開辦第三軍軍官教育團。朱培德還提任江西省省政府主席。他聽說護國軍少將混成旅旅長來到南昌，就想利用朱德的軍事才能來培訓軍官，利用朱德在滇軍中的老關係的招收官兵，擴充自己的實力，因此，很痛快地委派朱德擔任國民革命軍第五路軍總參議兼第三軍軍官教育團團長。
朱德在戰場上縱橫馳騁數年，又留學歐洲，實踐經驗和理論知識都很豐富。他了解了南昌市的基本情況以後，選定南昌市永和門內花園角的講武堂為校址，建立了教育團的機關和分隊，黨代表魏瑾鈞、副團長兼參謀長劉介眉也相繼到職。
朱德在青年軍官中間享有很高的聲譽，他在南昌創辦軍官教育團的消息傳開後，原滇軍各部的許多進步青年欣喜萬分，奔走相告，紛紛要求來教育團學習。江西各地的進步青年也日夜兼程，趕來報考。在短短的一個多月裏，教育團就招收了一千三百多名學員。為了早日開學，朱德日夜為整修校舍和置辦教學設備而奔忙。
第一期招收的學員許多都是班長、排長和連長，計劃經過8個月的訓練，將他們分配到南昌警備部隊服役。這樣，朱德就很自然地提任了南昌市警備司令。另外，朱培德考慮到為了統一管理所有的治安機構，還以政府名義派朱德兼任南昌公安局長。朱德還奉命創辦一個負責訓練四百多名警察的警官教導團。由於朱德身廉數職，國民黨江西省黨部還吸收朱德為省黨部委員。
教育團在舉行開學典禮以前就正式開課了。那些天，朱德從早到晚都忙於處理開課的各種事務。節假日，朱德還親自給大家講演，有時利用晚飯後的時間為學員講政治課，想方設法利用教育團為黨培養更多的武裝幹部。
朱德深知教育團團長的責任重大。全團三個營中，第一第二營七百多人，大多數是滇軍的連、排軍官、軍佐，他們穿上軍裝以後轉戰數省，多年流亡在外，受到進步思想的影響，許多人趨向革命，個別人還是共產黨員，他們以為自己的出路在於老老實實地苦學苦幹；也有少數人對革命不滿意，時時流露出落後思想。第三營400多人多數是從各地選送來的有革命誌向的青年，也有江西軍閥李烈鈞保送的富家子弟和官屬子弟，這些有點文化的青年都是想到教育團來學本事，為自己升官發財鋪路，朱德認為，這些學生雖然階級成分和個人經曆複雜，大多數人經過教育後能夠趨向革命，極少數受社會惡習影響較深的人也是可以改造的，不應該對他們失去信心。
教育團副團長劉介眉是個軍閥習氣很重的舊軍人，不重視對學員的政治教育。在製定教育計劃時，朱德明確指出：教育團的各種課程不能因襲舊規，必須重視學員的政治進步和思想改造。隻有這樣，他們學到的軍事知識才能為革命服務。朱德決定增加政治教育的內容，把中國革命問題、農民問題、社會問題作為政治教育的主題，邀請進步人士和工、農、教育界等社會知名人士到教育團演講。他還抽出時間給學員講黨課，傳授黨的基本知識，在學員中建立黨的基層組織，培養黨的積極分子。
軍官教育團的許多教官都是黃埔軍校的畢業生，有的是共產黨員，有的是國民黨的左翼分子，他們常常要在軍官教育團、警官教導團和農民運動講習所三個地方講課。朱德提倡教官和學員之間一律平等，教官要堅持耐心說服教育，嚴禁打罵、體罰和變相體罰學員，學員有問題可以直接向教官直至團長當麵提出，師生之間要樹立互尊互愛的新風尚。起初，有的教官對這些規定難以理解，但看到朱德處處與學員同甘共苦，經常以普通學員的身份出現在食堂和宿舍，野外演練時，朱德同大家一樣往返五六十裏，從不騎馬，把自己的馬讓給有病和體弱的教官或學員騎，深深為朱德的模範行為所感動，紛紛按照朱德提出的要求去做。
有一天幾名學員正為什麼是帝國主義、什麼是共產主義爭吵得麵紅耳赤，看見朱德，都圍了過去。有人問：“團長，資本主義和共產主義是一種主義嗎？”