1901年，為了向那些幫助他取得事業成功的員工表示感謝，他拿出500萬美元為煉鋼工人設立了救濟和養老基金。接著，為幫助家境貧窮而有誌上進的年輕人，當年就在紐約市捐款建立了68座圖書館。卡內基這項支持圖書館建設的工作一直持續了16年，他總共捐資1200萬美元，先後興辦圖書館3500座。為發展英美和其他國家的公共圖書館事業做出了巨大的貢獻。
1902年，卡內基捐款2500萬美元，在華盛頓創立了“卡內基協會”，由美國國務卿約翰任會長，這個協會主要是用來發展科學、文學和美術事業。該協會曾建造一艘“卡內基號”海洋調查船，修正了世界航海圖。此外，還在加州山頂上建造威爾遜天文台來觀察太空。隨後的幾年裏，卡內基一再追加這個協會的資金，累計捐款達7300萬美元。與此同時，卡內基還在匹茲堡創辦了卡內基大學。後來，又在美、英各地捐資創辦了各種學校和教育機構。這類用於建造教育設施的捐款，達9000萬美元之巨。
此後的幾年中，卡內基又設立了幾項基金。他捐資500萬美元，設立“舍己救人者基金”，對在突發事件中為救助他人而犧牲或負傷的英雄及其家屬予以救濟或獎勵；他捐資3900萬美元，設立“大學教授退休基金”，以保障教育家晚年生活；他還設立了“總統退休基金”和“作家基金”，對美國總統或作家的晚年給予資助。此外，他還向11個國家提供了“卡內基名人基金”，並以1000萬美元設立“卡內基國際和平財團”，專門資助為世界和平做出貢獻的人們。
由於10年來一直直接參與捐獻工作，1911年，年邁的卡內基夫婦身心都深感疲憊。因此，卡內基決定將餘下的1.5億美元設立“卡內基公司”，讓公司人員代理他們的捐獻工作。直至離世，卡內基都在為社會奉獻著他的財富，其捐獻總額高達3億3千多萬美元。
臨終憾事：“鋼鐵大王”的“恥辱”
在從事慈善事業的晚年，卡內基還有一個未了的心願，那就是世界和平。他希望能夠促成德國的威廉二世與歐洲其他國家首腦以及美國總統羅斯福會麵，從而達成持久的和平。然而他的努力遭到了媒體的嘲笑，連同他的慈善行為也引起人們的猜忌。正在他力圖促成和平會談時，第一次世界大戰爆發，卡內基被迫離開他的家園——蘇格蘭北部的斯基伯城堡。
晚年的卡內基將精力轉向了著書立說，1889年，卡內基出版了《富豪的福音》一書。曾經渴望成為一個有錢人的卡內基，經過人生的風風雨雨，在晚年把財富看得很淡，在給一位友人的信中他曾說：“人死而富是最大的恥辱。”1919年4月22日，卡內基陪著當新娘的女兒走進教堂，這是他最後一次公開露麵。8月11日，84歲的卡內基在美國雷諾克斯市的別墅中因肺炎而謝世。在經曆了一生的轟轟烈烈的生活之後，卡內基臨死仍然有兩件讓他遺憾的事：一是他無法用金錢買到世界和平；二是臨死時他並不是像他所想像的那樣窮。按照遺囑，卡內基死後的遺產由卡內基基金會占絕大部分。卡內基公司擁有2000萬美元，剩下的1000萬美元作為給家鄉丹弗姆林的親戚友人每年一萬美元的年基金，以及給原美國總統塔夫脫、原英國首相勞埃德?喬治的年金各1萬美元的基金，剩餘小額金錢作為傭人的年金。
卡內基給這個世界留下的寶貴財富，並沒有因他的死而受到絲毫影響。卡內基創建的22個慈善機構中的20個至今依然運行良好。今天的卡內基公司致力於幫助全世界兒童。不管是卡內基—梅隆大學，還是全世界3000多座圖書館，都謹記著卡內基的教育信條。卡內基的一生是輝煌的一生，這個冷酷無情的商人依靠鋼鐵工業大發橫財，最終卻又將其捐贈一空。美國大多數人可能不知道正是當年卡內基創造的巨額財富給他們的生活帶來便利。卡內基也以一種非常奇妙的方式影響著成千上萬人的生活。