皮博迪的助手托馬斯·珀曼十分欣賞職員私下的的報複行為，傳下來許多惡毒的故事，使皮博迪因致力於慈善事業而得的光環黯然失色。他講道，他的老板每天在辦公桌旁吃午餐，用的是一個小皮飯盒，他總派勤雜員去給他買個蘋果。一個蘋果要花一個半便士，皮博迪總給他兩便士；盡管每次勤雜員都夢想能得到這半便士的小費，但皮博迪總把剩下的錢要回去。
到19世紀50年代初，皮博迪快60歲了，身患痛風和風濕病。他每年的儲蓄額高得令人難以置信，他的年收入為30萬美元，而每年隻花費3000美元。擁有巨額財富卻又罕見地吝嗇，他精神轉變的時機已經成熟。正如他後來所說："當病痛襲來時，我意識到自己不是不朽的……我發現生活中有些人熱心地幫助貧困的人們，正像我熱心想掙錢一樣。"18他決定獻身於慈善事業時，隻有一個難題。作為獨裁的銀行家，皮博迪從未和別人分享過他的職權。1851年，他極不情願地讓他的辦公室經理查爾斯·古奇當了他的低級合夥人，這樣當他不在場時，能有人幫助他采取行動。滿麵愁容的古奇就像鮑勃·克拉奇特，和皮博迪說話時像辦事員一樣發抖；事實上，他從一開始就是辦事員的負責人。在給老板的信中，他開頭這樣寫道："尊敬的先生，我很少給您寫信，因為我知道您不愛讀，並且我寫的信都是有關不太愉快的事情。"19古奇所得到的栽培是終生的順從和苦役。
按通常的做法，皮博迪會選兒子或侄子來接管自己的事業。大多數商人銀行都實行自家人合夥製，隻有少數很有才華的局外人參與。可皮博迪是個光棍，他處於一種特殊的情形，必須選擇一個繼承人，把自己的帝國傳給這個陌生人。不過，他總有女人相伴。雖然他不抽煙也不喝酒，卻常在暗中享受私通的樂趣。好搬弄是非的珀曼常以皮博迪的布萊頓情婦的故事取悅於摩根公司的人。皮博迪慷慨地付給她2000英鎊。在遺囑中，皮博迪沒有給這個女人和她的私生女任何財產。他死後許多年，皮博迪的女兒——托馬斯太太——突然出現，纏著摩根公司的人要錢。19世紀末，摩根財團收到她兩個兒子提出要求的來信。一個兒子將來要當律師；另一個在牛津或劍橋大學讀書。已是古稀之年的珀曼被派去查證這兩個人是否有皮博迪的血統。珀曼回來時吃驚地透露："這兩個人的鼻子都和老頭長得一模一樣。"20至於皮博迪為何把愛情貶入他生活中的暗淡角落，我們不得而知。總的說來，他從事的是狄更斯所謂的"望遠鏡式的慈善"——對抽象人性的厚愛夾雜著對他熟悉的個人的吝嗇。在整個維多利亞世界，事實上除了他不承認的家人和雇員外，在其他任何地方，他都享有慷慨大度的美名。
皮博迪對自己的繼承人有明確的要求：愛交際、有家室且有外貿經驗的美國人。他的波士頓合夥人詹姆斯·畢比向他推薦自己的低級合夥人朱尼厄斯·斯潘塞·摩根。朱尼厄斯此時已在畢比——摩根公司工作了三年。1853年5月，他攜自己的家人訪問倫敦，同時帶著他兒子約翰·皮爾龐特。皮爾龐特精神亢奮卻身體虛弱，當時，他患風濕病剛好，首次接觸英國文化，像孩子似的激動不已。他參觀了白金漢宮和威斯敏斯特大教堂；在英格蘭銀行中，他激動地把玩著價值百萬英鎊的金條；他還去了聖保羅大教堂，聆聽禮拜日講道。與此同時，他父親與皮博迪談論生意上的事，皮爾龐特發現這個人"討人喜歡，卻像煙霧一樣影影綽綽"。21總之，皮爾龐特認為皮博迪是個奇怪、可愛卻很貪婪的老家夥。