李鴻章在軍務方麵也常常為曾國藩出謀獻策。1860年6月，清廷命曾國藩署理兩江總督，督辦圍剿太平軍事務。曾國藩率大營進駐安徽祁門。祁門在長江之南，位於黃山之西，四周山丘環繞，形如鍋底。曾國藩認為，隻要占領四周製高點，扼守要路，足以自守。但李鴻章則認為：“在這種地方紮營駐兵，乃是兵家之忌。這是兵法上所說的‘絕地’。不如及早轉移，選擇有利地形。以便進退自如”。
從純粹的軍事觀點來看，李鴻章的話是頗有見地的。但曾國藩沒有接受李的意見。李鴻章反複力爭，堅持己見。最後，曾國藩氣憤地說：“諸位如果膽怯，可以各奔前程!”李鴻章見狀便不敢再多言了。
其時，曾國藩軍中又發生了另一件事，即李鴻章不同意曾國藩彈劾李元度，使李鴻章暫時離開了曾國藩幕府。
李鴻章的出走，從心理上說，是其雄心壯誌久久不得舒展的情緒衝動。他追求青史留名，要的是封一路諸侯，而不是屈居人後。他在詩中抱怨“昨夢封侯今已非”，做夢都想踞有一塊地盤，對寄人籬下的狀況感到不滿。曾國藩為此曾安慰他：“觀察閣下精明強悍的神色流露在眉宇之間，寫字則筋骨勝於皮肉，象不會長期置身於玉堂，帶玉器優遊。假若要當四方諸侯，按圖索驥，不是南方的兩粵，就是東方的三吳。”曾國藩果然看得準，1862年，李鴻章得以去搶三吳這塊地盤。但在此前，李鴻章卻常因此而鬱鬱寡歡，或是吟“愁彈短鋏成何事，力挽狂瀾定有人”；或是歎“鬱鬱鬆楸望不開”，“空將雙淚寄泉台”；或是發牢騷!當時湘軍內部門戶之見極深，李鴻章作為皖人雖居高位，卻被占據要位的絕大部分湘人所排擠。那種克製忍讓、忍辱負重的生活，令他感到極不舒暢。為此，他常有“戈馬飄零何必家？”“四海無家行路難”之歎。
李鴻章的出走，不排除功利驅使，而意氣用事也是重要原因。李鴻章離開祁門，打算返回南昌哥哥家中。途中走訪了胡林翼，並告知離開曾幕的緣由。胡林翼素知李鴻章有才略，就說：“君一定會發達，但希望不要離開滌生（曾國藩），若沒有滌生，君何以進身？”李鴻章聽後，不以為然，憤憤地說：“我初以為你是豪傑之士，不需要別人而可以發展，今天才知我看錯人了。”言畢，拂袖而去。歸到下榻之地，整裝將行。胡林翼派人挽留，李鴻章脾氣又來了，仍執意要走。後經胡林冀強留，李鴻章才放下了行裝。過後，兩人又每日飲酒暢談，隻是不提曾之事。盡歡多日，李鴻章方才離去。
送別李鴻章後，胡林翼即寫信勸說曾國藩：“李某終將發達，不若引之前進，猶足以張吾軍。”曾國藩經過冷靜思考，認為胡林翼的看法很有道理，便於1861年3、4月間寫信給李鴻章，請他出任南昌城守事宜、以抗拒南路西征太平軍。李鴻章也未割斷與曾國藩的聯係，直接寫信勸說或請胡林翼代勸曾國藩從祁門“及早移軍”，“先清江西內地”。胡林翼支持李鴻章的主張，特地寫信給曾國藩說：李鴻章之議“頗識時務”，左宗棠移駐九江之策“亦握形勢”，“然滌丈未必采納。能於湖口、東流駐使節，聯絡南北兩岸之兵氣，乃合使節之體裁，且功效必大。”他甚至委婉地批評曾國藩因小失大、不顧戰略全局。曾國藩隨即移節東流。
李鴻章滯留南昌期間，曾給同年沈葆楨去信詢問福建情況。有意去閩任道員之缺。沈葆楨回信勸阻：“閩事糜爛，君至徒自枉才耳!”另一位同年郭嵩燾也致函李鴻章，“力言此時崛起草芭，必有因依，試念今日之天下，舍曾公誰可因依者，即有拂意，終須賴以立功名，仍勸令投曾公。”李鴻章“讀之怦然有動於心”。1861年5月18日，曾國藩乘機寫信給李鴻章，情詞懇切地請他回營相助稱：
鄙人遍身熱毒、內外交病、諸事廢閣，不奏事者五十日矣。如無醴酒之嫌，則請台旆速來相助為理。
曾國藩敦促李鴻章出山，意在為自己羅致建功立業的助手。李鴻章環顧左右，也確信當今可資“因依”而“賴以立功名”者隻有曾國藩，因此，捐棄前嫌，於6月6日趕至東流，重新投身曾幕。
李鴻章第二次入幕曾府，曾國藩對其“禮貌有加於前，軍國要務，皆與籌商。”吳汝綸撰《李鴻章江蘇建祠事略》中說：“曾國藩前後幕僚，多知名之士，其能爭議是非者，李鴻章一人而已。”雖不全是事實，但李“認真”的品格確為老師所欣賞。
李鴻章進曾國藩幕府等於進一個高級研究班。在軍事上，他得以獨當一麵地招練騎兵、組建淮揚水師，溫習他以前自學的步兵戰術，故出幕時三大主要兵種的大部隊指揮已相當嫻熟。1862年，上海官員驚奇地發現，李鴻章親自動手繪圖描型，改建了上海水師戰船、戰艇式樣，十分在行。以前，李鴻章能浪戰而不耐戰，不善防守；在曾國藩身邊，他學到了深溝高壘的“站牆子”防禦之術，學到了保餉道、糧道而無後顧之憂的堅守之法。李鴻章曾說：“我以為湘軍有異術，今天曉得，不是別的，隻不過聽到長毛來站在牆子前罷了。”正是這站在堅厚牆壁前的防守戰術，使當年淮軍在關鍵的虹橋之戰、北新涇之戰中未被太平軍擊敗。