那時，約瑟夫·摩根信任美國銀行，也信任在費城開銀行的尼古拉斯·比德爾的經營管理。
1833年，比德爾在美國推行合同信貸，從各州的銀行裏抽取他存的資金，從而造成幾個月的“衰退”，哈特福德也受到損失，約瑟夫·摩根投資的銀行也受到影響。
雖然對摩根家族來說這隻是一場短暫的風暴，約瑟夫·摩根所受的影響並不太大，但他不想在同樣的問題上再出差錯。
約瑟夫為兒子選擇的下一個職位是在紐約的莫裏斯·克查姆銀行當職員。約瑟夫數年前就認識克查姆了，克查姆有一段時間曾是約瑟夫的哈特福德開的咖啡屋的老顧客。當時，克查姆曾從金融貿易中賺了不少的錢。
克查姆的城市大廈，以及他的位於康涅狄格的優雅的夏季別墅和在克查姆前後簇擁著的大量的仆人，都使約瑟夫羨慕不已。
克查姆的辦公室是紐約城中最繁忙的一個。大約有一半以上的職員不停地忙碌，小心地應付著各種各樣的票據。這些都給約瑟夫留下了深刻的記憶。同時作為一個謙遜謹慎的人，約瑟夫·摩根也給克查姆留下了深刻的印象，因此他願意幫助約瑟夫，這也是他同意接納吉諾斯的原因。
但是吉諾斯好像並不喜歡紐約狂熱的氛圍。在舒適優美的哈特福德和拘謹合乎體統的波士頓待了幾年之後，吉諾斯對紐約的貧民窟和對於20萬市民來說嚴重不足的排水係統感到很失望。他甚至不能忍受單節機動有軌車轟隆隆地急馳駛過夏天的街道。
一有可能，吉諾斯就逃到波士頓去進行休整，並去看望他的朱麗葉。他到家中的時候也經常不失時機地向他的父親暗示他的這種沮喪心情。
1836年2月，當約瑟夫到紐約解決向伊特納保險公司火災索賠事宜時，吉諾斯再次向父親提起想回家的想法，吉諾斯終於被允許回哈特福德開始做較為穩定的工作。
約瑟夫經過幾個星期的仔細調查，決定花10萬美元為吉諾斯在哈特福德的一個名叫豪和馬塞棉花貿易公司裏買一個合夥關係。通過不斷增加投資，吉諾斯在這家貿易公司的收入也穩步增加。
這一年，約瑟夫退休時，還買下了哈特福德的一家幹菜店交給吉諾斯打理。就在那年春天，吉諾斯終於迎娶了皮爾龐特牧師的女兒朱麗葉。
1837年4月17日，在俄塞勒姆大街26號的一所磚造的住宅裏，約翰·皮爾龐特·摩根出生了。
這個約翰·皮爾龐特·摩根便是今後在華爾街、鐵路和鋼鐵業界呼風喚雨的金融巨子摩根。
小摩根長著一雙烏黑、深凹的眼睛，也長著皮爾龐特家族特有的鼻子，一旦發怒時，這鼻子就會跟著膨脹，這成為摩根外貌上一大特點。
小摩根出生的這一年，正是美國有史以來遭受最嚴重的經濟危機的一年。全國銀行業正處於絕境之中，幾乎全部銀行都拒絕以金銀來承兌貨幣或期票。在紐約，銀行業已全部癱瘓，許多銀行倒閉。
衰退雖然對摩根家族的財產並沒有構成嚴重威脅，但他們所擁有的一些產業也受到了一定程度的影響。吉諾斯在兒子出生兩周後，就被迫離家到美國南部去出差，做一次長期的和原本要推遲的旅行。因為他擔當合夥人的公司經營從南方運來的棉花，因沒有硬通貨、外彙或外國銀行的信用證而無力支付貨款，無法從南部籌集貨源。
吉諾斯一出門，朱麗葉就帶了孩子回到波士頓的娘家，幾乎整個夏天她都是在娘家度過的。
這一時期，摩根家和皮爾龐特家經常來往。約瑟夫多次出差到波士頓來，每次必定要來看看小摩根的外祖父和外祖母，當然也是來看望他的小孫子。他會很虔誠地聆聽皮爾龐特牧師所做的講演，傾聽他敘述他在君士坦丁堡的見聞。
6月底，吉諾斯回到哈特福德，他在4天內迅速向其合夥人彙報了出差情況，然後便趕快趕到了波士頓他丈人家中，看望他的妻子和孩子。
7月初，按照嚴格的基督教公理會的禮儀，他們為約翰·皮爾龐特·摩根舉行了洗禮和命名儀式。然後，他把他們母子接回了哈特福德俄塞勒姆街的家中。
1838年，吉諾斯把他自己的小家搬到了教堂街。1839年，他又在勞德山法明頓大街開始修建自己的大房子和穀倉。然而，這一年對摩根家來說，卻是一個困難時期。
那一年的洪水衝走了康涅狄格河上一座約60米長的大橋，而約瑟夫·摩根在修建該橋時投資了股份。這一年大風雪、火災和其他災禍使得伊特納保險公司僅在下半年就虧損128萬美元。
約瑟夫哀歎伊特納保險公司的悲慘境地，而他卻給為他兒子蓋房子的建築工豐厚的工資，希望房子能盡早建成。盡管如此，吉諾斯為建造新家采購的東西也因為惡劣的天氣而無法按時拉回來。
吉諾斯搭乘輪船，準備把在紐約為新家選購的壁爐架等運回去。該船預定開到康涅狄格州，但是船員們因害怕河中的冰塊，輪船中途返到了紐黑文，並把貨物都卸在那兒，這使吉諾斯極為惱火。在他們第二個孩子、女兒薩拉·斯賓塞·摩根出生時，房子才建造了一半。
但很快摩根家就度過了困難時期，1840年吉諾斯成為紐黑文和哈特福德鐵路局董事。3歲的小摩根也第一次乘坐了火車。坎坷的童年時光
19世紀40年代的摩根一家在哈特福德是異常活躍的。這一時期，約瑟夫為推銷斯普林菲爾德和阿伯尼鐵路局的證券特別賣力。他還和兒子吉諾斯不停地為他們的保險公司、銀行和鐵路局到各地出差。
摩根家的家庭生活也很溫暖，家裏人經常聚會並搞些娛樂活動。吉諾斯的第三和第四個孩子，女兒瑪麗和兒子小吉諾斯不久也相繼出生了。
孩子們的出生為這個家庭又增加了新的生機。在朱麗葉生小瑪麗·萊曼·摩根的前後，約瑟夫就開始花很多時間用車接送孩子到農莊去玩耍。
1845年，約瑟夫又在豪和馬塞公司為兒子吉諾斯投資了25000美元。吉諾斯還被選為哈特福德火災保險公司的董事。這一榮譽反映了他的家族在哈特福德的地位以及他們在保險公司的投資分量。
1846年，9歲的小摩根開始了他的學習生涯。
少年時期的小摩根並不像他剛出生時那樣體格健壯，相反，他似乎繼承了他母親的病弱體質，孩提時代的他，大部分時間是疾病纏身，所以他所接受的學校教育從一開始就是斷斷續續的。
開始，他在離家很近的教區學校裏待了幾個月，接著又到康涅狄格州聖公會學校裏待了幾天。
開始上學的這一年，小摩根由於經常生病仍然有很多時間待在家裏，雖然他的爺爺約瑟夫身體不好也常在家裏，但小摩根還是感到很孤獨，他想改變自己的生活。
後來，他父親就把他從哈特福德送到柴郡小學去讀書，從此小摩根開始了寄宿學生的獨立生活。但是由於身體狀況時好時壞，他從第一年起就經常不能去柴郡上學。
1847年7月23日，約瑟夫·摩根去世，享年67歲。在生命最後的幾周裏，他開始消瘦，但仍像年輕時那樣活躍，也許他知道自己將不久於人世，他開始把產業轉讓出去。
約瑟夫去世時為兒子吉諾斯留下了一筆數量相當可觀的遺產。據傳，約瑟夫·摩根為兒子留下了數百萬美元的遺產，但就所公布的數字來看，他離百萬富翁還相差甚遠。
他的委托人聲稱，他在遺囑裏隻提到了102萬美元的財產，其中92000美元是房地產，但是這僅僅是約瑟夫·摩根去世前幾個月所擁有的財產一小部分。
毫無疑問，在遺囑上統計的數字隻是老人臨死時當地的房地產和在銀行裏的存款，尚未統計他在各個銀行裏的股份，沒有統計他在輪船公司、運河公司、橋梁公司和至少兩家鐵路局裏的股份和他在伊特納保險公司裏的大量資產。
這些對40歲的吉諾斯來說，是一筆很大的財富。看吉諾斯將成為哈特福德一名前途無量的商人，他已經過上了富裕而穩定的生活。
這時，小摩根在回家養病期間，隻好在當地的一些日校或寄宿學校，特別是在哈特福德的帕威林私立學校學習。開始，他隻是該校的一名走讀生，1848年1月，他開始寄宿。
一年半以後，小摩根又轉到城裏的公立學校。他還在哈特福德的霍普金斯語法學校讀了數月。他這樣換來換去的原因一方麵由於自己生病，另一方麵則是由於母親生病，盡管有傭人幫忙，她還是弄不了5個孩子。
就這樣，小摩根斷斷續續地讀完了小學課程。
在哈特福德，小摩根的同學都叫他“皮柏”，意思是“出眾的人”。之所給他起這個名字，一是因為他長得很出眾，雖然纖細但挺直的身材，還有遺傳自他父親的深棕色的頭發、大眼睛和大嘴巴。另外，同學們覺得叫他“皮爾龐特”過於囉唆，因為“皮爾龐特”剛好與“皮柏”相近，這樣，“皮柏，皮柏”就叫開了。
小摩根很愛表現自己，他儼然是這個新英格蘭家族中一個特別有進取心的後代。摩根從小就養成了一種與眾不同的、不擇手段獲取勝利的性格。即使是在玩耍的時候，他也總是要贏，即使在友好的象棋比賽中，他也會要不惜一切取勝。
他還是一群男孩子的頭兒，在10人聯名上書要求班裏給5天時間讓他們去哈特福德觀看即將展覽的“宏觀管理”的名單上，小摩根的名字排在第一。
小摩根很不高興別人叫他皮柏，因為他是個嚴肅認真的人，即使在給他爺爺或其他親戚寫信時，他也總是老老實實簽上約翰·皮爾龐特·摩根這個名字。但是，他畢竟還是個孩子，還脫不了稚氣。
他與他的爺爺和外公都保持著很好的感情。
1848年，小摩根11歲那年，在他第三個妹妹出生不久，他開始在帕威林私立學校寄宿。盡管在家時感到寂寞，但一離開家，他又開始想家。那年元旦，他因為沒有收到外公的節日禮物而非常傷心。
有一天吃晚飯的時候，他坐在餐桌旁一直生氣，也不吃飯，校長夫人對他說她有一份禮物要給他，但必須吃完晚飯才能給他。他真的吃了一點晚飯，然後收到了禮物和外公的一封信。外公在信中說他托桑塔·克勞斯帶了一支筆作為給小摩根的新年禮物。
當時小摩根回信說：“我很遺憾地說我再也不喜歡桑塔·克勞斯了，因為他沒按您的意思在元旦那天把禮物交給我，而是到星期一，都3號了才給我。如果我是您的話，我再也不會信任讓他帶禮物。”
3個月後，這個僅僅11歲的小家夥又給他的外公寫了一封信，是為他的口語考試請求外公幫助的，他的外公是當地小有名氣的作家，小摩根想讓外公為他寫一篇短文作為他口試中的一部分。可能是出於自尊心的緣故，他把信寫得很委婉。
小摩根在信的開頭部分先是熱情洋溢地講他很快要到特洛伊去看外公，接著提出寫短文的事，然後又寫了一段關於哈特福德的約翰·昆西·亞當斯的遺跡，還閑扯了一些家常，最後才再次強調要外公別忘了給他寫短文的事兒。
12歲時，他和表兄吉姆·古特溫結成商業夥伴，由小摩根管賬，投資購買哥倫布登陸的畫片向同學們展示，他們很樂意向感興趣的同學收取一些費用。然而，最終他們花完賬麵上僅有的141美元後，生意還是破產了。
盡管小摩根在上小學的時候很好強，但是由於他經常生病，除了寫作，他哪門功課都是一般，從來沒讓老師開心過。他在算術、拚寫及英語語法方麵的成績都很差，他的拉丁語成績也是經過幾個月的努力才從一般上升到了優秀。
名列前茅的少年
1850年，小摩根在哈特福德公共中學上學時，一次他認定了老師對他不公平，他感到很不服氣，就勇敢地給那位老師寫了一封信。
信的開頭是這樣的：
索菲亞·C史蒂文斯小姐
老師，公共中學
一個受壓的學生呈上
史蒂文斯小姐：
我要問問為什麼你作為一個老師而我充其量也不過是一個學生僅僅因為我笑聲稍大了點兒我向你保證我的確控製不住自己而且用懲罰也是無濟於事的你卻如此粗暴地將我罰出課堂你不能不相信我今後課堂上會表現得好些的隻要我願意我是一定能夠安靜一言不發地坐在那兒而且全班同學都能做到這點隻聽你滔滔不絕卻聽不到學生的聲音那樣的話難道你不認為全班同學都是些笨蛋嗎如果我在DII科仍像現在這樣得不到良好的對待的話下學期我就轉到EII科去了在那裏我將向托瑞小姐說明情況或免去曆史和語法我講的這些都不是氣頭上的話你不能不承認我是一忍再忍對此事考慮再三你無法否認我是被不公平地對待的我希望在本學期結束前我倆的關係有所改善去EII畢竟是下策。
請給我談談你的意見
約翰·皮爾龐特·摩根
當看到這封缺少標點符號和句子結構的信時，史蒂文斯小姐感到十分震驚，她被這個誠懇而又苦惱的學生打動了。若幹年後她又找出這封信，把它交給了吉諾斯·摩根作為紀念。
盡管小摩根有時也淘氣，但他是個認真的孩子，他無論在家還是在學校，都是孩子們的領袖。小摩根也很容易發怒，而且又固執己見，特別是在遭到反對時，這個時候他那個特有的鼻子就會馬上大起來。
小摩根在學校裏各方麵都很積極。為了增強自己的體質，他積極參加各項體育活動，但他最喜歡的還是和他的表兄吉姆·古特溫一起去釣魚。吉姆是一個性情溫和、善良的小男孩，盡管他年長小摩根兩歲，但他總是很高興地跟隨小摩根，成為他的部下。
有一段時間，由於濕疹，小摩根的大鼻子上留下了許多斑點，為此他變得越來越沉悶，拒絕跟任何人講話，除了他的表兄吉姆之外。
小摩根和一些家境好的孩子一樣，上過舞蹈學校，學過騎馬和下棋，而且有時在晚上他會和人殺上幾盤。他的父親給他輔導家庭作業，有時甚至對他談論政事。在他的祖父約瑟夫的影響下，小摩根和這個家庭其他多數人一樣同情輝格黨。
小摩根和他祖父一樣，堅持寫日記，把他認為是自己人生中的重要事情都記錄下來。他甚至對什麼氣候有利或不利於滑冰和滑雪都做了記錄。他把自己的旅行，有時連花錢都記在日記中。