1859年1月，李鴻章來到曾國藩幕府。
曾國藩十分高興，連日留他在幕中暢談軍事和時事。二人縱論形勢，以圖大業。他們談到安徽巡撫福濟，談到江北大營的欽差大臣和春，還談到了江南江北各路軍務情形。他們談話十分投機，在很多問題上具有共識。
曾國藩就讓李鴻章去招募馬勇，起初李鴻章沒有答應。因為他在呂賢基、福濟那裏已經有過不少閱曆了，知道軍旅之事可不是好玩的。他對自己獨當一麵的能力還沒有信心。曾國藩對他講，彭玉麟原來也是讀書人，後來竟能訓練水師，楊嶽斌雖然是行伍出身，但他是陸軍，現在也能帶水師，“不必以任事之難為慮”。李鴻章接受了他的激勵。他就給湖北巡撫胡林翼寫信，請向湖廣總督官文請示，要求調用北方馬隊。
李鴻章是說幹就幹的人。他派了專人回到穎州去招募馬勇，所定指標是500名。但是，這時，皖北由於官軍和起義者攪在一起了，沸沸揚揚跟開了鍋一樣。根本沒辦法招兵，招募馬勇的計劃遂告破產。
九年二月，曾國藩的大營遷到撫州。三月，李鴻章也來到這裏報到。在一次設於晚霞樓的大宴上，他感慨萬端，禁不住吟出這樣的詩句：
二十學書劍，北登黃金台；
三十負弓弩，棄襦歸去來。
……
霸陵獵馬短後衣，昨夢封侯今已非。
南浮富春下彭蠡，山川遼絕音問稀。
任人呼牛或呼馬，長醉不醒胡為者。
李鴻章雖是消沉之語，但曾國藩卻聽得出他還是滿腹的“懷才不遇”的鬱悶。應該再磨煉他一下。
五月十日（1859年6月10日），曾國藩派弟弟曾國荃率兵5500人從撫州進兵景德鎮，讓李鴻章隨同前往。他在二十六日（6月26日）正式向朝廷奏報，說李鴻章“久曆戎行，文武兼資，堪以留營襄辦。”
但是這樣一來，李鴻章就得在曾國荃帳下作事了，他更加不高興。曾國藩當然明白，他先後於五月十七日（6月17日）和六月二十八日（7月27日）兩次去信開導李鴻章，說你固然有宏圖大誌，是匡濟之才，但應待時而動；甚至說：“觀閣下精悍之色，露於眉宇，作字則筋勝於肉，似非長處玉堂，鳴佩優遊者。”信中“玉堂”二字，典出宋代，禦賜翰林院為“玉堂之署”。曾國藩號稱擅相人之術。
他斷定李鴻章絕非長久閑散於翰院之人，將來可以為一方諸侯，或到南粵，或到東吳，或到齊豫，總之現在要耐心等待時機。
六月中旬，曾國荃攻克景德鎮。七月，李鴻章回到曾國藩的幕府，“代管文案”。曾國藩沒有把他當成一般的秘書，而是當作助手和顧問。一切重大計劃都要事先同李鴻章商量才能作出決定。
據說，有一次曾國藩想要彈劾安徽巡撫翁同書，因為他在處理江北練首苗沛霖事件中決定不當，後來定遠失守時又棄城逃跑，未盡封疆大吏守土之責。曾國藩憤而彈劾，指示一個幕僚擬稿，總是擬不好，親自擬稿也還是擬不妥當，覺得無法說服皇帝。因為翁同書的父親翁心存是皇帝的老師，弟弟是狀元翁同。翁氏一家在皇帝麵前正是“聖眷”正隆的時候，而且翁門弟子布滿朝野。怎樣措辭才能讓皇帝下決心破除情麵、依法嚴辦，又能使朝中大臣無法利用皇帝對翁氏的好感來說情呢？大費躊躇。最後由李鴻章擬稿。奏稿寫完後，不但文意極其周密，而且有一段剛正的警句，說：
“臣職分在，例應糾參，不敢因翁同書之門第鼎盛，瞻顧遷就。”這一寫，不但皇帝無法徇情，朝中大臣也無法袒護了。曾國藩不禁擊節讚賞，就此入奏，朝廷將翁同書革職，發配新疆。
由此事而後，曾國藩更覺李鴻章此才可用。
八月，曾國藩帶了李鴻章去見湖北巡撫胡林翼。第一次見麵，胡林翼就十分欣賞，再三對曾國藩說李鴻章足以擔當大任，希望曾國藩保舉李鴻章一個實缺。曾、胡，也包括李鴻章在內，在這裏商定了四路進兵安徽的計劃，然後曾軍東下。
十月二十四日（11月18日），得悉朝廷發表李鴻章為福建延津邵道，遇缺候補。但那裏實在無缺可補，曾國藩便以“讚襄需人”的理由把李鴻章留下了。