回到家，卡內基隻是像往常一樣，將11.25美元薪水交給母親，而將增加的2.25美元暫時留了下來，因為這筆錢對他來說實在太珍貴了。晚上臨睡前，他把加薪的秘密告訴了弟弟，七歲的小湯姆也感到吃驚。於是，弟兄倆興奮地談起了未來的事業，憧憬著將來要合開一家“卡內基兄弟公司”，賺好多好多的錢，送給母親一輛閃閃發亮的馬車，再也不讓她老人家像現在這樣縫鞋縫到深更半夜了。他們談了很久很久，才沉沉入睡。
卡內基在跑腿送電報之餘，很想多讀點書來充實自己，可是，苦於家境貧窮，根本沒有多餘的錢買書。有一天他在翻閱報紙時，發現了一條消息：退役的詹姆士·安德森上校願意將家中所藏400冊圖書借給好學的青少年們。每逢星期六可以到他家借一本書，一星期後歸還，再換借另一本。於是，欣喜若狂的卡內基找到上校的家，借到了自己心愛的書。從此每到星期六，他都能和一個嶄新的知識世界接觸了。後來，上校眼看借書的少年日益增多，決計辦一個私人圖書館，他到紐約添購了各種書籍，擴大了自己的書齋，又向市政府借了一間房，成立了一家真正的圖書館。
卡內基從安德森圖書館裏借到了許多好書，養成了喜愛讀書的習慣，隻要一天不看書，就覺得心神不寧。安德森使他在人生的黃金時期有了讀書的機會。後來卡內基事業成功時，為了報答安德森先生的幫助，在其私人圖書館的原址，蓋了大會堂和圖書館，並立碑紀念這位恩人。
1853年，賓夕法尼亞州鐵路公司西部管區主任斯考特看中了有高超的電報技術的卡內基，聘他去當私人電報員兼秘書，每月薪水35美元。當時卡內基已是18歲的大小夥子了，他懷著強烈的上進心走進了這個更為廣闊的世界。
在賓夕法尼亞鐵路公司的10餘年中，卡內基平步青雲，24歲就升任該公司西部管區主任，年薪1500美元，並逐步掌握了現代化大企業的管理技巧。這種技巧是他後來組織龐大的鋼鐵企業時所必不可少的。與此同時，卡內基也抓住時機，初試牛刀，參與投資，而且頻頻得手，慢慢積累得小有資財，為他以後開辦鋼鐵企業奠定了一定的經濟基礎。
通過購買亞當斯快運公司和火車臥鋪車廂製造公司的股票，到1863年，卡內基在股票投資上已成為行家裏手。1865年，卡內基果斷地辭掉了鐵路公司的職務，開始一門心思地幹自己的事業。他創辦了匹茲堡鐵軌公司、火車頭製造廠以及鐵橋製造廠，並開辦了煉鐵廠，開始涉足鋼鐵企業。19世紀60年代，美國的鋼鐵生產經營極為分散，從采礦、煉鐵到最終製成鐵軌、鐵板等成品，中間需經過許多廠家。加上中間商在每個產銷環節層層加碼，致使最終產品的成本很高。卡內基深知傳統鋼鐵企業的這些弊病，他決心建立一個麵目全新的、囊括整個生產過程的供、產、銷一體化的現代鋼鐵公司。
1872年，卡內基認為在煉鋼事業上大幹一場的時機業已成熟。首先，從技術上講，成本低廉的酸性轉爐煉鋼法已經發明，他特地親赴英國考察了發明者貝西默在生產中運用該法的實際情況。其次，美國的鋼鐵市場十分廣闊，供不應求。而鐵礦在美國極為豐富，密執安大鐵礦已進人大規模開采階段。再次，就財力而言，卡內基已擁有數十萬美元的股票及其他財產，他決定將資金集中到鋼鐵事業中來。最後，最令卡內基信心十足的是他在鋼鐵公司十餘年間所掌握的管理大企業的本領。於是，到1873年底，他終於與人合夥創辦了卡內基一麥坎德裏斯鋼鐵公司。卡內基是最大的股東。在隨後的20多年間，卡內基使自己的財富增加了幾十倍。
1881年，卡內基實現了童年的夢想，與弟弟湯姆一起成立了卡內基兄弟公司，其鋼鐵產量占美國的1/37。1892年，卡內基把卡內基兄弟公司與另兩家公司合並，組成了以自己的名字命名的鋼鐵帝國——卡內基鋼鐵公司。他終於攀上了自己事業的頂峰，成了名副其實的鋼鐵大亨。他與洛克菲勒、摩根並立，是當時美國經濟界的三大巨頭之一。