要不是後來太平天國興起，他們父子必須放下公文簿去打仗，這個職位他恐怕可以一直坐下去的。這個職位得來實屬不易，完全是他二十年辛苦寒窗，拚命讀書的結果。
李文安的父親李殿華（即李鴻章的祖父）是個“五十年不進城”的鄉下讀書人，家有幾十畝地。他總不進城，但總想從黃土地上走出去，於是對科場功夫甚為在心。但是他考試總不順利，科場屢次失意，後來就在家設館教學生和孩子讀書，把希望寄托在兒子們身上。
李文安即是這個家族走出安徽、走向官場、走向京城、走向沿海的第一人，是李家有家譜記載的前七代人中，唯一的一個進士。
別人家聰明的孩子4歲就開始啟蒙了，而李文安到8歲才讀書。他早年讀書讀得很苦。他在兄弟中排行最小，從小身體很弱。到了13歲，別人都有考上秀才的了，而他才讀完“四書”和“毛詩”。李文安的這些表現在父親李殿華看來就是貪玩不用功，根本就沒看出這是個大器晚成型的人才，後來，李殿華就叫大兒子李文煜來督陣，專門管著他讀書。
李文煜科場也不順心，考中秀才後就再無長進，也學父親的樣子，在家開館收徒教書。這個大哥對付小弟也真厲害，每年正月初三就開學，一直要念到大年夜為止，毫不放鬆。畢竟嚴師出高徒，青出於藍而勝於藍，結果李文安中了舉而大哥未中，幾年後李文安又中了進士，而他幾個哥哥都名落孫山。
不過李文安也費了九牛二虎之力，他苦讀到35歲那年（1834年）才江南鄉試中舉。在這之前，他已經曆了十數年的寒燈煎熬，期間也當教書先生，或收徒，或館於人家，但自己的功課絕不放鬆。中舉後又過了四年，終於考中了進士。這時，他已快40了，度過了他人生的大半截。
但最要緊的，還是他的“命”好。他這個進士中的不早也不晚，正好與數年後大紅大紫的曾國藩同一年考中，這種關係過去稱為“同年”。在那個時代，這是一種極其微妙又極其重要的人際關係。從“實惠”的意義上說，遠遠超過了同鄉、同學、同族，甚至超過同胞的關係，因為同時考中進士就意味著要同時做官，有著共同的聯係和參照。初做京官的他們無形中就是一個整體，除了他們的考官，他們之間往往比官場上的其他人更親近，更能夠理所當然地相互幫忙，相互利用。
李文安雖然性格比較內向，“資性中下”，但他萬事心中有數，眼力不差，同年中與他關係最緊密的便是曾國藩。當時的曾國藩還沒有發達，隻是個普通的京官，初任翰林院侍講學士、內閣學士，不過是個編編史書的閑官，後來才當上禮部、兵部、吏部侍郎（相當於現在的副部長）。雖然李文安直到中年才考中進士，進入仕途，但是他對兒子的安排是有超前意識的，也許這也是李鴻章日後能做出一番事業的原因之一。李文安在和曾國藩的關係得到確認之後，便早早地安排兩個兒子李瀚章和李鴻章去拜曾為師，跟其學“經世之學”，一旦到了他們要奮發進身的時候，就派上大用場了。這大概是李文安貢獻給他的家族的最高智慧。
李文安作為司法官清廉正直，方剛厚重，堅持依法斷案，每到秋審最後斷案的時候，披覽案卷總到深夜，力求準確地量刑，不冤枉一個好人，“庭諍麵折，人有包老再世之目”。但他“以倔強不苟合，不獲於上官”。其實，曆來官場上都是如此，做事既要認真，又不能太認真，要看是什麼事。你什麼事都太認真了做官就不討巧了。問題是李文安凡事都太認真了，就必然不討上司的喜歡，所以他始終沒能當上“部級幹部”。他們同年中別人都升得挺快，他弄來弄去還在看監獄。
盡管如此，一些正直的同僚們看得清楚，用詩的形式記下了他做的好事，尤其是善待獄囚的舉動，這在那個黑暗的時代是極其難得的。那年頭連無辜的老百姓都沒人關心，誰還去關心那些獄囚呢？
有《詠李玉泉先生為提牢詩》數首為證。其一曰：
一湯一飯淺深量，是否堪餐每自嚐。
甘苦可推軍十萬，獄中留得姓名香。
晚飯散過號腹來，雙眸炯炯不勝哀。
獄中幸有推恩米，例自先生到此開。
棘牆深閉見天遙，溽暑熏蒸未易消。
賴有仁風吹隔座，蒲葵五萬共招搖。
托缽沿門醵俸錢，秋深檢點補黃棉。
先生更給病囚被，寒到圜（huán）扉不聳肩。
是說他管提牢廳時，下屬兩個監獄，他每天都要巡視一遍。到底是刑部的大獄，竟然關押了五萬囚犯！每個監獄從南到北往返一圈五裏地，兩個監獄每天走一遍就是十來裏路，他總是堅持每天親自到場巡視，僅僅這一點就很不容易。