曾國藩規定了選拔將領的四條標準：第一才堪治民，第二不怕死，第三不急名利，第四吃苦耐勞。曾國藩把王珍排除之後，決定繼續招募六千人，與江忠源的舊部合成一萬人。
剛剛拿定這個主意，江忠源就正式奏請，調曾國藩所練的六千人增援安徽。鹹豐很快就批準了這個請求。他令曾國藩立即選募湖南鄉勇六千名，酌配炮械，籌雇船隻，親自率領，駛出洞庭湖，從長江上遊迎頭截擊，肅清江麵敵船。還令曾國藩在途中抓捕從田家鎮敗退下來的官兵，這些人侵擾百姓，抓到之後，立即斬首，使民眾得以安寧。
但是曾國藩的建軍計劃還在實施之中，距離出兵還有時日，在時間上無法滿足江忠源和皇上的要求。他現在最要緊的事情就是募集人才。十月中的一天，他正與幕僚議事，打算在湘鄉縣城建立忠義祠，祭祀援贛軍陣亡的四名營官，並且以湘鄉勇附祀，大家紛紛表示讚成。忽然門房來報：彭玉麟求見。
曾國藩大喜，對眾人說道：“此人是已故湖北巡撫常大淳之子常豫向我推薦的，說他膽略超群，可以倚重。我同意見他，可他對常公子說，他母喪未及一年，不願出山。我屢次寫信勸他來軍營為國出力，看來終於說動他了。”
彭玉麟第一次出現在曾國藩麵前。寒暄過後，曾國藩一雙三角眼正視著這位訪客，見他言談舉止儒雅不俗，明顯是個讀書人；但他語音爽朗，目光磊落，又有軍人氣概。曾國藩頓時對他起了好感。
彭玉麟說：“蒙曾大人曉以大義，玉麟決意從戎報國，但自誓不求保舉，不受官職。”
曾國藩知道，這是彭玉麟向他擺明正派做人的姿態。上一年八月中旬，彭玉麟從耒陽回到衡陽，照顧生病的母親，不久母親去世，他埋葬了母親，在家守喪。如今他聽從曾國藩的勸告“奪情而出”，他說的這番話，表示自己不求功名，但求報國，正是理學家曾國藩想聽到的。江忠源墨絰從戎時，他就是如此要求江忠源；後來他自己走了同樣的路，還是以不受保舉、不受官職來求得心安，維護名聲。現在彭玉麟一上來就表明態度，使他自然地將對方看做同道中人。
曾國藩慶幸自己又得一個人才，當即將彭玉麟分到曾國葆營中，令他幫辦營務。
關於彭玉麟此次從軍的原因，野史有另外的說法，把他的動機歸於一段刻骨銘心的愛情經曆。據說鄰家一個名叫梅仙的女孩贏得了他的愛慕，而梅仙也仰慕彭相公的才學，不僅願意委身於他，還對他百依百順，甚至不惜給他提供賭資。彭玉麟年輕時和江忠源一樣好賭，也和江忠源一樣是賭場上的常敗將軍。輸光了以後，他悄悄將梅仙的釵珥拿去當了錢，再入賭場，孤注一擲，照樣是血本無歸。
有一天，彭玉麟又拿梅仙的首飾當了二十兩銀子，跑去賭博，再次敗北。回家後，彭玉麟滿懷歉疚，向梅仙坦白認錯。他本來準備挨一頓臭罵，跪下懺悔一通，沒料到梅仙輕描淡寫地說：“相公，隻要咱倆能夠白頭到老，這點錢算得了什麼？”
然而這對有情人未能成為眷屬。兩家已有口頭婚約，因女家翻悔，未能履約。梅仙怏怏去世，彭玉麟悲痛欲絕，發誓要畫十萬幅梅花，報答愛人的深情。他寫過一首《題采石磯太白樓》，詩中有句：
三生石上因緣在，結得梅花當蹇修。
其餘詩作，也常以梅花抒發詩情：
其一：頹然一醉狂無賴，亂寫梅花十萬枝。
其二：一枝留得江南信，頻寄相思秋複春。
其三：無補時艱深愧我，一腔心事托梅花。
很有可能，這些詩句中蘊涵著作者因梅仙逝去而排遣不掉的哀思。
彭玉麟沉浸在失去愛人的悲痛之中，竟至大病一場。他躺在床上，捂著胸口說：“死於枕席，算什麼大丈夫！既然我今年一定會死，何不找一個好地方去死？”
於是他投筆從軍，到曾國藩帳下出力，每戰都朝刀風箭雨裏麵鑽，以求一死，而往往因此就立下奇功。
也有野史家說梅仙並未早夭，彭玉麟身居高位時，她還健在，不過已經嫁人，又已守寡。彭玉麟顧念舊情，經常到她家裏給錢周濟。兩人對飲對弈，儼如伉儷，卻嚴守大防，未曾上床。強調二人發乎情，止乎禮，當然是為了突出才子佳人的高風亮節，卻未必可信。上床沒上床，局外人是無法知曉的。