李鴻章的先祖原本姓許，明朝時期，從江西遷到了安徽合肥。李鴻章的八世祖將兒子許禎所過繼給了好友李心莊，從此許承李姓。李家世代以耕讀務農為生，一直與科舉功名無緣。
李鴻章祖父當家時，每到年終，上李家要債的人多得“如過江之鯽”。李鴻章的父親李文安苦讀多年，35歲那年參加江南鄉試中舉，年近40歲時考中了進士，後來在刑部任職。
李文安做京官幾十年，官至五品刑部郎中退休返鄉。雖官位不高，但卻頗掙了些家資，城裏、鄉下都有宅院，還有近百畝田產，膝下共有六男二女。
兩個女兒早已嫁人為妻，六個兒子依次為:長子瀚章，字筱荃;次子鴻章，字少荃;三子鶴章，字季荃;四子蘊章，字和荃;五子鳳章，字稚荃;六子昭慶，字幼荃。
李文安的六個兒子當中，目前隻有長子瀚章與二子鴻章考進了官場。其他四子，除了幫他料理些家務，仍在讀書進取。
李瀚章於道光二十九年(公元1849年)，以拔貢朝考出曾國藩門下，現為湖南益陽知縣，他曾於月前回老家探親，還特意到舒城、廬州、宿州去看望過呂賢基、福濟、周天爵三人，並與二弟李鴻章有過幾日短暫的聚會，假滿便離家回任了。
李瀚章離家不久，李鴻章便回來了。考慮到安徽戰火不斷，一家老小時時擔驚受怕，經父母同意，李鴻章會同四個弟弟，把家遷到距合肥城三十多裏地的東鄉磨店老宅居住。
忙完搬家事宜不久，便假滿到期，李鴻章沒有立即回舒城，他打發一名家人，給呂賢基送了個續假條子，說老父偶感暑熱，需要人照料。
李鴻章這麼做，不過是想試探一下，呂賢基對自己的態度是否有所轉變。
但讀過呂賢基的回函後，李鴻章的心徹底涼了。呂賢基不僅準他續假，而且還表示，續假滿後，“如果令尊大人的身子骨還沒有恢複如初，仍可續假。”
李鴻章隻好咬牙耐下性子，一邊靜觀時局，一邊發奮讀書，一邊思考自己以後的出路。
這天中午，福濟乘著綠呢大轎，招招搖搖地來到了李家的府門前。聞報，李鴻章大感意外，急忙去通報父親。很快，年邁的李文安在李鴻章的攙扶下，帶著幾名下人迎出大門。
侍立在轎旁的扶轎二爺掀起轎簾，福濟紅光滿麵地邁步下轎。李文安、李鴻章父子急忙施行大禮。李文安口稱:“老朽見過撫台大人。”李鴻章則道:“下官給撫台大人請安。”
福濟跨前一步攙起李文安，又趕忙扶起李鴻章，笑道:“本部院可不敢受李老京堂的大禮。老京堂身體一向還好?”李文安一邊回著“托福”，一邊讓家人打開中門，恭恭敬敬地把福濟迎進上房大廳，福濟的隨從則被李府的管家領進下房歇息。
福濟挽著李鴻章的手，邊走邊說:“你這個太史公，老哥在廬州忙得昏天黑地，你老弟倒躲在這裏圖清閑!”
李鴻章笑道:“大人言重了!下官哪是在圖清閑，下官是在侍奉家中二老啊!”