自從安徽省城安慶被太平軍占領後，廬州府便成了安徽巡撫衙門的臨時駐節地。署理巡撫福濟，統帶三營團練一千五百人，駐守城內，其餘兵力則駐守城外。團練大臣周天爵率四千團勇，駐紮在遠離廬州的宿州，他早年曾做過宿州知州，對宿州情況較熟，募勇籌糧，征集練費，自然都比較方便。
到廬州安頓下來以後，李鴻章先來拜見福濟，客客氣氣地道:“下官奉侍呂郎大人之命，特來廬州各縣征集錢糧，還請大人鼎力支持!”
福濟除了滿口應允，自然是無話可說。兩個人又談了一陣閑話，福濟便把李鴻章單請進簽押房，命人沏了杯好茶，這才笑道:“少荃，得知你老弟回籍幫辦呂侍郎團練，你不知老哥多高興!聽說呂侍郎回旌德，招募了兩營團勇?這兩營團勇，他是交給了袁午橋，還是交給了老弟?老弟做營官，可是屈才了。”
福濟雖是地方官，卻是滿人，對於從京城下來的工部侍郎呂賢基自然不太買賬。李鴻章雖然官小無權，但是素有才名，對福濟構不成威脅，乘機拉攏一下，還是有必要的。
李鴻章在官場也待了幾年，其中緣故心知肚明，便笑道:“撫台大人真能講笑話。下官大小也是皇上欽命的團練幫辦，侍郎大人怎麼可能把下官放到營裏去做營官呢?”
福濟見李鴻章回答得滴水不漏，不由哈哈笑道:“聽你老弟的口氣，呂侍郎對老弟當真不薄啊!老弟在呂侍郎身邊如此得意，本部院就不多說什麼了。聽京裏來的人說，呂侍郎離都時曾對老弟講:‘君禍我，上命我往;我亦禍君，奏調偕行’。照此看來，老弟回籍幫辦侍郎練勇，是侍郎奏調的了?人都說呂侍郎隻會紙上談兵，哪知道，他還真是個有眼力的!”
李鴻章見福濟公開挑撥，便沉吟道:“侍郎大人是否對下官說過這話，下官已經不記得了。但據下官所知，侍郎大人的確對袁甲三大人說過這話，是袁大人親口對下官說的。袁大人還說，能得侍郎如此青睞和器重，是他的福分。侍郎大人很器重袁大人。”
福濟一拍桌麵，豪氣衝天地道:“老弟，你以後有什麼事，隻管來找我。在安徽，本部院眼裏，既沒有什麼製軍，也沒有什麼侍郎，隻有你老弟一個。老弟的事，就是老哥我自己的事。隻要老弟言語一聲，老哥馬上就派人去辦!”
一聽福濟講出這話，李鴻章馬上起身道:“多謝大人看重!大人若無其他吩咐，下官先行告退。等下官把侍郎大人交辦的差事辦完，再來衙門侍候大人喝茶。”李鴻章不想卷入大員之間的勾心鬥角當中。何況，福濟貪財好色的官聲遠播，李鴻章也不想與他走得太近。辭別福濟後，李鴻章心生感慨:“看樣子，福濟在安徽，日子也不是太好過。”
李鴻章在廬州一帶，與呂三爹展開轟轟烈烈的勸捐籌糧工作，費盡口舌，三個月後就勸捐二十萬兩白銀、五萬石糧食。
福濟向呂賢基支援了一百條火銃和一門不能使用的土炮，算是給李鴻章個麵子。
李鴻章見福濟如此小氣，隻好把銀、糧先交由呂三爹押回舒城，自己則馬不停蹄地趕往宿州見周天爵，不料卻碰了個大釘子。周天爵不僅不肯為呂賢基代賒一匹馬，槍也不肯支援一條，火炮更是無從談起。
這還不算，周天爵還當著李鴻章的麵，說了呂賢基許多不是。李鴻章硬著頭皮聽他發了一通牢騷，不敢在宿州耽擱，連夜趕回舒城來見呂賢基。