美軍觀察組的活動一開始就受到蔣介石的敵視和美國政府內堅持反共立場的人物的反對，而且羅斯福的言論和行動也不表明他會單方麵支持共產黨人。1944年9月6日，在蔣介石的要求下，反共的共和黨人赫爾利被任命為美國總統的私人代表，來到中國。
蔣介石與史迪威之間的矛盾越來越深。當美蔣成立了四個方麵軍及預備方麵軍時，史迪威要求將軍以上、至少集團軍以上的中國將領一律撤換，改由美國軍官擔任。蔣不同意。史對蔣威嚇說：“如不撤換，中國軍隊就不能對日反攻。美械以後也不再裝備蔣軍，而裝備八路軍和新四軍。”蔣介石一怒之下，再次致電羅斯福，堅決要求調回史迪威。
大約是10月中旬一天，赫爾利被蔣介石請到重慶南岸的黃山別墅，說是共度周末。赫到時，蔣介石正在山頂他的住所裏睡午覺。赫爾利就在杜建時的陪同下，走進山坡上一棟名叫老草房的客廳裏休息。過了一會兒，史迪威在國民黨中將參軍朱世明伴隨下，也走進老草房，彼此寒暄幾句，史迪威就拉著赫爾利走到裏麵一間房裏去。杜建時和朱世明仍然坐在外麵客廳裏，隱約聽到赫爾利說“不行不行”。杜建時問朱世明：“史迪威也是應邀來別墅度周末嗎？”朱世明回答：“不是。史迪威要求見蔣介石，蔣召他來的，大概談完話就走。”
4點鍾時，有人來請史迪威、赫爾利上山頂。當他們走進山頂客廳時，蔣介石已在客廳裏。史迪威沉著臉向蔣介石說了幾句很不自然的客氣話之後，從口袋裏掏出一封信來，他說這是羅斯福總統給委員長的一封信，隨後將信遞給朱世明。朱剛剛把信抽出來，蔣介石一眼掃見信的下麵有中文譯文，他好像已經知道信的內容似的，勃然色變，一把從朱世明手裏把信搶過去，僅僅看了兩三眼，就把信放在桌上，仰著頭一言不發。
房間裏像墳墓一樣沉寂。雙方都不說話。
後來還是史迪威先開口對朱世明說：“你問問委員長有什麼指示沒有？”
朱世明譯給蔣介石聽，蔣介石仰著臉看著天花板，不作回答。客廳裏的氣氛緊張到極點。又挨過幾分鍾，史迪威對朱世明說：“我辦公廳桌上堆著很高的公文等待我批閱，委員長如沒有什麼指示，我就回去了。”
朱世明又翻給蔣介石聽，蔣介石仍然不理。
這時赫爾利插嘴說：“事情需要考慮，我們告辭吧。”
杜建時剛把這句話翻給蔣介石，蔣介石就站起來向赫爾利望望，勉強對赫微笑一下說：“好吧，我們回頭再見。”在史迪威和蔣介石全部談話時間內，蔣介石沒有看過史一眼。回到老草房的客廳後，史迪威和朱世明就走了。臨行時，史的麵色自然很難看。
老草房的客廳裏，隻剩赫爾利和杜建時。按照常規，他兩人要到山頂上和蔣介石一同進晚餐。那天卻不同了。6點鍾的時候，蔣緯國來到了老草房，對杜建時說：“我父親今天不舒服，赫爾利先生不要上山吃飯了，就在老草房用餐吧！”
飯來了，赫爾利帶著沉重的心情坐在飯桌旁，叼著香煙，擺弄他的刀叉，很久不想吃飯。杜建時和他開玩笑：“吃飯吧！吃飽了，有精神，問題就容易想通了。”
赫爾利說：“我們做了一件不應當做的事，把事情搞複雜了……麻煩……麻煩。”接著又說，“史迪威硬得很，本來問題就不容易解決，問題再加上問題，就更不容易解決了。華盛頓把蔣介石看得太簡單，把解決中國的問題看得太容易，才做出這樣的錯事。”
第二天，杜建時才知道，史迪威帶來的信的內容：羅斯福要求蔣介石把中國軍事指揮權交給史迪威，來統帥中國部隊對日作戰。當天晚上，赫爾利給羅斯福發了一封電報。過了幾天，史迪威的上校秘書劉耀漢告訴杜建時，他要隨史去美國。杜故意問劉：“史為什麼回美國？”
劉說：“史迪威和蔣介石搞不攏，蔣介石要求羅斯福調回史迪威。羅斯福接受了蔣介石的要求，已明令調史迪威回華盛頓。”
1944年10月21日，史迪威卸職回歸美國。就在赫爾利和梅樂斯、陳納德等人合夥擠走了史迪威，並宣稱，他的主要目標是防止國民黨政府的垮台和擁護蔣委員長的領袖地位，並使“兩個敵對集團更接近於達成協議與合作的結果”時，赫爾利又信誓旦旦，要一舉調處好國共關係。
蔣介石一再逼迫共產黨人退讓，令中間奔波的張衝急得要下跪。蔣介石隻想讓共產黨人出席參政會為他捧場。可是直到會議開幕，並沒出現任何一個共產黨人的身影。