摩根要的是最好的工藝和材料，從仿古的木質天花板、羅馬的大理石地板到天青石柱子等，他都是事必躬親。
在圖書館的建造過程中，摩根還在繼續增加他的藏品。
1903年5月，他從一個德國商人那裏買了一部非常重要的畫冊手稿和幾件意大利陶器。其中那本畫冊是微型畫家烏裏奧·克羅維奧於1546年為羅馬教皇保羅三世的孫子畫的，曆時9年才畫成，極富曆史意義。摩根對那本畫冊極為珍視，隻有重要的客人才能見到它。
在收藏的過程中，摩根還陸續將一些藏品捐給了幾個博物館。
1902年他捐給紐約大都會博物館2000件中國瓷器。
1904年年初，摩根當選大都會博物館董事會副主席。在秋天當上主席後，摩根改變了博物館的定位。從那時起，博物館不再接受那些達不到專業水準的捐贈品。這不僅是為了利用有限的空間收藏並展出那些珍貴的藏品，尤其是按照藝術品的曆史把不同國家、不同時期的傑出作品集中起來展出。
在摩根擔任主席後不久，博物館的館長去世。1905年年初，董事會聘請英國倫敦一個博物館的館長擔任大都會博物館的館長。
大都會博物館的工作並沒有減慢老摩根私人收藏的步伐。
他又收購了一些畫作和瓷器，還不慎買了一件意大利被盜的文物，後來他還給了意大利。為了展示逐漸增多的收藏品，摩根在1904年買下了與倫敦王子門13號住宅相鄰的房子，他讓人將兩幢房子的內牆打通，把下邊兩層改成畫廊。
1905年夏天，麥基姆因為圖書館的建設勞累過度患上了神經衰弱，醫生要求他必須休息。但考慮到圖書館馬上就要竣工，所以麥基姆並沒有按醫生的要求休息很長時間，這也為他兩年後的不幸去世埋下了禍根。
1906年年初，圖書館終於建成了。麥基姆欣慰地告訴朋友：
“摩根先生對圖書館的建設非常滿意。”
落成後的圖書館是一座意大利式的建築，既華麗又莊嚴，本身就是一件了不起的藝術品。第三十六街的入口處是一條寬敞的大理石階梯道路，兩邊各有一隻獅子雕塑。圖書館的外觀采用簡潔的古典設計，以取材自田納西州的粉紅色大理石來構建外牆，正門是圓拱式及雙廊柱的16世紀的羅馬風格。
室內的圓形大廳和圖書館圓拱頂天花板，配合著這種風格，以雜色大理石的鑲嵌來強調其肌理；又以青金石的廊柱和斑岩的地板作對比，顯得輝煌壯麗。此外還請名師仿做了不少拉斐爾式的壁畫，以及古典的宗教聖像浮雕，使圖書館成了集古代至文藝複興藝術與思想於一處的博物館。
圖書館最初預算是85萬美元，但是至1906年落成的時候，總共花了120萬美元。
圖書館落成之後，摩根每天都要在他的私人書房裏待上半天。
在這裏，老摩根可以從現實的商業紛爭中解脫出來，大門一關，似乎把所有家庭和社會的凡人瑣事擋在了外麵。“他舒舒服服地待在自己的圖書館裏。”有人給圖書館起了個綽號叫“摩根分行”。
摩根圖書館實質上是一家收藏豐富的博物館，由於該建築的非凡特色和價值，後來這所圖書館被譽為紐約市中心的一塊文藝複興的瑰寶。
身體每況愈下的摩根，自感大限將至，為完成為祖國淘回藝術瑰寶的夙願，他開始將散放在倫敦等地的“外籍”藏品陸續運回美國。這出於兩個考慮：一是摩根希望將所有藏品集中捐給國家；二是如果收藏品在他死後仍留在倫敦，那麼繼承人將承受高昂遺產稅負擔。
1909年以前美國關稅高得令人咋舌，但美國畢竟是摩根的“老巢”，通過對政客的遊說，百年以上藝術品免征關稅的法令一路綠燈，順利獲得通過。
就這樣，成千上萬的藝術珍品被打包運回美國，一分稅錢沒上繳不說，海關還選派業務骨幹親赴倫敦，協助摩根辦理通關事宜。
可是，問題又來了。
捐贈給國家這話好說，操作起來就不那麼容易了。
這麼多無價之寶，全部捐給國家可以，但摩根希望得到國家和社會的認可，因為他更看中的是麵子和尊嚴。
於是，摩根提出了三點要求：一是所有藏品全部集中在一起；二是藏品全部饋贈給大都會藝術博物館；三是紐約市專門為摩根的藏品修個展廳。
這三點雖然沒有什麼出格之處，可時機不好。當時樹大招風的摩根財團正在接受反壟斷方麵的調查，處於腹背受敵的情勢之中。
結果，三點要求一出，一些報紙和政府官員便指出摩根有樹碑立傳之嫌。
唯我獨尊的摩根感到本意“為國收藏”的他，此時被國家和國民拋棄了。他非常憤怒，於是表示：“政府再也得不到這些收藏品了。藏品怎麼處置我不管了，留給傑克來作決定。”