1912年初，摩根家族從伊麗莎白·德雷克塞爾手中買下了華爾街23號及其地產，這塊黃金寶地每平方英尺的售價創造了有史以來房地產交易的最高記錄。皮爾龐特去世後一個月，施工隊便拆除了這座古老的灰褐色德雷克塞爾大廈，以便在原地重新建造一座宏偉的大理石大廈。為了保證得到高質量的建築材料，向來毫不吝惜的摩根合夥人把田納西州的一個大理石采石場買了下來。
皮爾龐特一直堅持，新大樓的入口處應形成一對角線，這樣公司可同時麵向百老彙街和華爾街。在最後一次去羅馬時，他曾打算把幾個凱旋門式的圓柱帶回家，作為新建築入口處的框架。盡管他生前未能親眼目睹這幢由特羅布裏奇和利文斯頓設計的意大利文藝複興風格的建築，但這幢大廈卻保留了他的精神。1913年12月30日，傑克為新大廈奠基，奠基石中裝有一個特殊的銅盒子。像聖潔的遺物一樣，銅盒子裏封存著皮爾龐特的遺囑、一份普約聽證會證詞、合夥章程，以及作為商人銀行最恰當的標誌——用於信用證的表格。這是公司在向前發展的過程中對往昔的緬懷。
說來也怪，這座1914年完工的三角形大廈比原來的建築還小。特迪·格倫費爾狡黠地對拉蒙特說："我真不知道300年以後，或者不用那麼久，人們對摩根財團的成員們在此前35年的時間裏所取得的進展會有何感想。"大廈的建築麵積縮小以後，公司趕走了其他承租人，獨自占據了這一"街角"。這座建築處於林立的高樓之中，顯得格外矮小，這低矮的建築物大大地浪費了這塊寶地，似乎摩根銀行希望向人們炫耀，日常操心費用這種事與它毫不相幹。
這座新建築結構緊湊，房間的窗簾總是遮蓋著深深向裏伸進的窗戶，給人一種神秘感，這反映出摩根公司對隱私諱莫如深。如《泰晤士報》所說："摩根財團的人們總是盡量遠地退居幕後，他們躲避輿論的注意就像躲避瘟疫一樣。"1老德雷克塞爾大廈將其公司的名字高掛在門上，而摩根銀行現在卻回歸倫敦傳統，門口沒有掛公司名牌。
新大樓的內部結構反映了倫敦商人銀行的布局特點，臨街的一層設一個開放式的金融交易廳。沿百老彙街一側擺放著兩排拉蓋式寫字桌和黃銅製痰盂，兩排寫字桌之間由一個大理石玻璃製作的隔板分隔開，黑色的木質牆壁上鑲嵌著幾幅油畫。合夥人的房間裏懸掛著皮爾龐特的畫像，畫像下麵爐火熠熠。在樓上，每一個合夥人都有一間單獨的辦公室，牆壁上鑲著英國橡木板。辦公室裏都有一個壁爐。樓上還開設了一間專用餐廳以及傑克·摩根的理發室。
傑克就任新總裁的那一天，他的辦公室裏堆滿了玫瑰花。此時他46歲，接管這攤工作肯定心裏沒有多大把握。傑克較溫和，不像他父親那樣粗暴。他父親為之大喊大叫的事情，他隻是嘀咕和抱怨幾聲。一位記者寫道，傑克"外柔內剛……這一點在他父親身上是找不到的"，而華爾街上的閑言碎語卻說他比不上皮爾龐特。2我們已經知道，他的信心從未得到過父親的鼓勵。作為一個摩根合夥人，他曾令人吃驚地屢遭敗績，其中包括航運托拉斯事件。1907年經濟大恐慌期間，他在巴黎申請一筆黃金貸款，結果遭到法蘭西銀行的斷然拒絕——這對朱尼厄斯·摩根的孫子來說是一個沉重的打擊。華爾街的智者說，傑克1905年回到紐約以後做的首要革新，就是將"英國下午茶"引進了這個"街角"。人們認為他舉止文雅，待人友善，但屬於二流人物。
傑克執掌摩根後采取明智的自我保護方式，他做了皮爾龐特絕不可能做的事——將權力下放給戴維森、拉蒙特和其他人，而以一種瀟灑的姿態掌管全局。他沒有受到他父親那樣的火爆脾氣或個性的影響，也沒感覺到來自那些有才幹的同齡人的威脅，他為自己穩固的主角地位感到驕傲。他改革銀行的措施適應了當時外交時代的需要，即需要有一支強有力的、有主見的合夥人隊伍去執行政府的使命。在傑克的指導下，合夥人整體素質得到了很大提高。銀行作的所有決定都需一致通過。1907年經濟大恐慌以前，皮爾龐特從不定期召開會議，而傑克則每天安排一次合夥人會議。會議以一種英國商人銀行非正式的形式進行，無需速記員在場，也不做會議紀要，隻保留與會合夥人的名單。皮爾龐特喜歡合夥人唯命是從，而傑克要營造的是一家具有天賦的高級管理人員雲集的銀行。或許是出於安全的考慮，或許是由於精明老練，或許完全是因為懶散，他組成的銀行就像一支交響樂隊，不過一旦需要，這支樂隊可以無需指揮而進行演奏。