不過，在處理同國民政府的關係時，佛采爾卻遇到了一些麻煩。德國顧問來華工作均以私人身份受聘於蔣介石，這種特殊的地位使他們同中方有關部門之間難免發生矛盾。1932年至1934年期間，南京政府軍事委員會一度試圖改變這種聘任辦法，降低聘任規格，由用人單位直接聘任，顧問也不局限於德國人。為頂住這場“改革”，佛采爾向蔣介石表示，德國顧問來華服務的基礎是委員長的崇高威望，而中國的官員們經常對蔣的指示陽奉陰違，因此德國顧問隻願效忠於蔣個人。1934年5月，蔣介石下令，“各處德顧問以後改屬本委員長直接管轄，而受總顧問之指揮”。盡管顧問團由於蔣的支持保持了特殊地位，但佛采爾終因在中國官場積怨太深而去職。
繼佛采爾之後來華出任總顧問的是塞克特（Hans von Seeckt1866一1936）將軍。他是德國國防軍元老，在德國享有“國防軍之父”的美譽。他來華任職是蔣介石的殷切期望，也得到了德國國防部的大力支持。但塞克特任職時間很短，僅有10個月。
在出任總顧問之前，塞克特曾受蔣介石邀請，於1933年5、6月間到中國進行過一次考察。考察結束時，他呈交了一份《陸軍改革建議書》，作為“貢獻中華民國與偉大領袖的友情禮物”，由此奠定了他與蔣合作的基礎。塞克特建議的核心有三點內容：第一，他向蔣介石強調，中國整軍的目的是建立一支“在您本人統帥下的經過正規訓練的軍隊”，整個軍事係統的大權，包括訓練管理、發展、指揮調遣、人事任免等，均需集中於最高統帥的掌握之中，“今後在任何情況下，決不能再允許地方或較高軍事當局有任何獨自為政之舉”。第二，中國必須盡快建立自己的軍火工業，不斷增加軍火自給，否則“在未來抗日戰爭中防禦和獲勝的可能性將微乎其微”。第三，為抵抗日本侵略，應以長江中下遊作為戰略設防重點，並建立戰略交通係統。此外，他還提出了改進中國官員與德國顧問合作關係的一些辦法。蔣介石對塞克特的建議十分讚賞，認為在中國“主持建軍”所需要的正是“這樣一個勝任的人”。
1934年5月塞克特來華任職時，蔣介石給了他一個十分特殊的頭銜“委員長委托人、總顧問”，並委以極大的權力，甚至規定當他本人不在時，塞克特具有代表他發布命令的全權。不過，塞克特運用蔣賦予的權力十分謹慎。他吸取了前任的教訓，盡量不介入涉及人事關係的敏感問題，而集中精力於本職工作，致力於加強中國的國防能力。在短暫的任期內，塞克特為中方製定了詳細的後勤供應表和一個發展軍火工業的計劃，將中國國防現代化與德國在遠東的經濟利益緊密聯係在一起。在德國顧問及德國企業的幫助下，此後一段時間，中國在太原、濟南、昆明、重慶、南寧及廣東等地建立了新的兵工廠，並對漢陽、鞏縣等舊兵工廠進行了改造。應蔣介石的要求，塞克特還設計了從上海到南京間的江南國防工事，這條被稱為“中國的興登堡防線”是中國抗日國防的一項重要工程。此時，由於顧問團的軍事性質已無須掩飾，塞克特在顧問團內部按軍事任務的需要重新做了分工，讓所有文職人員退出。
1935年3月，塞克特因健康原因離華，他的助手法肯豪森（Alexander von Falkenhausen1878一1966）將軍接替了他的職務，成為最後一任駐華軍事顧問團長。法肯豪森的背景有兩點特殊之處：一是他曾於1912年出任德國駐日本武官，對日本的軍隊及軍事戰略作過深入研究；二是他在政治上具有反納粹傾向。這個背景使他很容易得到中方的信任，事實上他也一直采取積極支持中國抗戰的態度。
上任不久，法肯豪森就向蔣介石提交了一份《關於應付時局對策之建議》。在這份建議中，他坦陳日本是對中國最嚴重、最直接的威脅，中國的應對方針及準備宜立足於日方軍人得勢。在分析了日軍的進攻方向和戰略部署之後，他指出，在目前的國際形勢下，列強沒有聯合或單獨幹涉的可能，中國必須傾全力自衛。他提出了兩個具有遠見的建議：一是當中國軍事力量尚不足以進行現代化戰爭時，可考慮“用持久戰抗敵”，二是應將四川作為抗日的“最後防地”。在整軍備戰方麵，法肯豪森繼續其前任確定的三項主要工作：訓練一支精銳的機動部隊、加強長江一線的布防和加快中國國防工業建設。