這裏所說”大體“,從根本上說，即是封建製度的”大體“.李氏明確描述容閎的作用說：”陳主事帶學生赴美國，若無容閎為之先導，必致迷於所往，寸步難行。“陳、容的結合，實際也是貫徹了中體西用的精神。即以封建頑固派為主導，借用容閎的外國關係和外國語言文字的技巧而已。這就不可能不發生矛盾。矛盾的根子，在堅持封建性與資本主義化之間的對立。容閎的目標，要將幼童培養為係統接受資產階級教育的人，”早不以遣派留學為然“的陳蘭彬為代表封建統治階級的目的，僅僅是培養接受西方科學技術和辦理外交所需的洋務人才。這一點李鴻章講得也很明確，他說”挑選幼童赴美國肄業，以求洋人擅長之技，而為中國自強之圖“.這就是教育章程中堅持規定孝經、五經等課程的由來。”體“”用“矛盾也隨時表現於日常生活。容閎概括地說：
例如學生在校中或假期中之正雜各費，又如學生寄居美人寓中隨美人而同為祈禱之事，或星期日至禮拜堂瞻禮，以及平日之遊戲、運動、改裝等問題，凡此瑣瑣細事，隨時發生。
這些事，始而是陳蘭彬與學生的衝突，逐步導致陳、容之間的衝突。在陳蘭彬看來，學生參加基督教的活動是叛逆行為，健身跳躍等運動視為不守規矩，剪發辮著西服更看作對清王朝不忠。光緒二年（1876）因剪發辮等事而被撤回的幼童學生就有九名之多。這當然是容閎所不以為然者。矛盾發展到陳蘭彬推薦吳子登繼任監督這一年而更為尖銳。光緒元年（1875）陳回國，區愕良代署，次年區回國，陳蘭彬薦吳於登繼任。吳較之陳的頑固性有過之而無不及。容閎說陳蘭彬之薦吳自代，是”陳對於外國教育之觀念，實存一極端鄙夷之思“的表現。從此”留學事務所乃無寧歲矣。“確實，吳子登肆意攻擊，說容閎聽任學生”放蕩淫佚“;說學生”讀書時少而遊戲時多，……對於新監督之訓言，若東風之過耳；……學生已多半入耶酥教“等等。吳認為，這些學生若久居美國，”必致全失其愛國之心，他日縱能學成回來，非特無益於國家，亦且有害於社會“.極力建議將留學生撤回。
陳蘭彬、吳於登的反對和攻擊不是孤立的，國內頑固派與之遙相呼應著，”士大夫議者紛紛“,光緒六年（1880）左右達到高峰，他們說”幼童出洋一事，糜費滋弊，終無實效“.李鴻章貌似公正，實際上是傾向於頑固派，他帶著妥協的口吻對陳蘭彬說：”純甫意見偏執，不欲生徒多習中學“,他為此寫函給容閎，”囑勿固執己見“,並”令其不必多管，應由於登太史設法整頓，以一事權“.李鴻章的這種思想和態度，更促使加速撤退留學生。在議論撤銀留學生問題時，吳子登始則主張”悉數可撤“,繼則認為，”習氣過深與資性頑鈍者可撤回華，其已入大書院者滿期已近，成材較速，可交使署兼管“,陳蘭彬則”堅持全裁之議“.爭論結果，留學生終於翌年下半年先後”淒然返國“.共撤回九十四名（在此以前因故撤回和病逝者二十六名），其中頭批二十一名，均送電報局學傳電報；第二、三批學生由船政局、上海機器局留用二十三名，其餘五十名”分撥天津水師、機器、魚雷、水雷、電報、醫館等處學習當差“.其中個別人如容閎侄子容揆在撤回後在容閎幫助下又到美國至耶魯大學完成了學業。
中途撤回留學幼童，是頑固守舊派和一切懼怕西學危及清王朝封建統治者的”勝利“,卻是對培養新型人才的扼殺。當時不少有心人均為之惋惜。鄭觀應說：”全數撤回，甚為可惜。既已肄業八、九年，算學文理俱佳，當時應擇其品學兼優者，分別入大學堂，各習一藝，不過加四年工夫，必有可觀。何至淺嚐輒止，貽譏中外。“黃遵憲在其《罷美國留學生感賦》中歎道：”磋跎一失足，再遣終無期，目送海舟返，萬感心傷悲。“光緒二十六年（1900）梁啟超遊美國哈佛時，談起二十年前幼童中途撤回事，亦深為歎息。