到美國之初，卡內基一家依然窮困潦倒。不久以後，霍根姨父因為生活不景氣而放棄了織布工作，於是父親威廉便接替了他的小織布廠，開始織桌布。當時沒有一位商人願意為他推銷，因此父親不但要織布，還要親自把成品拿出去挨家挨戶地兜售。但他很快發現，自己的上好亞麻織品在這裏根本沒什麼市場，同工廠的產品相比，這些手工織品太昂貴了，因此雖然父親工作十分辛苦，可收入卻少得可憐。
當小卡內基看見父親的辛勞卻隻能換來如此微薄的收入時，他感到十分恐懼，難道這趟離鄉背井的航行也不能改變家裏的狀況嗎？
為了幫補家計，卡內基眼裏永遠不會倒下的母親又開始工作了。在少女時代，她曾為了賺取零用錢，學會了縫鞋子的技術，沒想到來到美國後竟然派上了用場。那時候瑪格麗特到附近一位鞋匠家中拿鞋子回來縫，一星期可以賺4美元。
卡內基的母親除了要工作賺錢外，還要管理家事，有時候甚至要忙到深夜。偶爾弟弟湯姆在旁邊幫母親穿針引線時，母親就會像以前曾經對卡內基那樣，唱一些蘇格蘭民謠給他聽，或者講一些故事來教育他。盡管十分忙碌，但瑪格麗特仍然能夠與鄰居們和睦相處，每當鄰居遭遇困難時都會來請她幫忙。不論他們住在哪裏，情形都是如此，可愛的母親永遠是卡內基和鄰居心目中仁慈與光輝的象征。雖然貧寒，但卡內基覺得與富有家庭的孩子比較起來，他們得到的更為珍貴。
那個時候全家人每個月隻要有25美元就足夠生活下去了，但是卡內基的父母即使拚命工作也無法賺得這個數目。卡內基很想有一份工作來幫助家裏。他經常會夢見家裏已經陷入了絕境，這種窮困生活的沉重壓力就像一個可怕的噩夢般縈繞不去。
終於有一天，發生了一件令卡內基十分痛苦的事。霍根姨父出於一片善意對卡內基的母親說：“安德魯是一個很聰明的孩子，學習能力也很強，可以讓他帶一個籃子，裏麵裝些日常用品到碼頭附近去叫賣，這樣能夠賺到一筆相當豐厚的收入，對家庭也許會有些幫助。”
聽了這話，瑪格麗特暴跳起來，將手上的針線摔在地上，伸出手指著霍根姨父大喊道：“什麼！你要叫我的兒子去當小販，到碼頭去和那些粗人混在一起嗎？我寧願把他丟進河裏！你給我走開!”她一邊大聲斥罵，一邊用手指著大門。霍根姨父隻好自討沒趣地走了。在這以前，卡內基從來沒有看到過母親生這麼大的氣。事後，瑪格麗特淚流滿麵地啜泣著，緊緊地抱著兩個孩子說：“在這個世界上有許多事情可以去做，但是我們要選擇對社會有益、又能被人尊重的工作。”
母親的抉擇不僅是出於對他們的愛護，同時也是她的抱負，無論付出多大代價，她都要讓自己的孩子們躋身於第一流的人才之中。然而謀生的壓力變得越來越沉重，生活的艱辛讓她憂慮不已。這件事發生後不久，父親威廉就放棄織布的工作，在布萊克斯托克先生所經營的棉織工廠找到一份工作，而工作後，威廉發現這個工廠還雇傭了許多男孩幹些雜務，於是他請求廠主給卡內基安排一份差事。
同為蘇格蘭移民的布萊克斯托克先生很同情他們一家的遭遇，便讓安德魯進廠做繞線工，每周可拿到1.2美元。就這樣，小卡內基開始進入了社會。
初入社會，卡內基便嚐到了謀生的艱辛。當時他和父親一樣每天天不亮就起床，除了一段很短的午休時間外，要一直工作到天黑。因為這項工作本身十分枯燥乏味，卡內基提不起絲毫興趣，覺得漫長的工作格外辛苦，但一想到這份工作是為了全家能夠吃到飽飯，也就毫無怨言地努力幹了下去。一周以後，卡內基拿到了生平第一筆薪水，當時的激動心情真是難以形容，令卡內基終生難忘。雖然以後卡內基有了不可計數的財產，但是都無法與領到第一筆薪水時的成就感相比，那1.2美元說明自己終於獨立了，已經可以做父母的助手了。
之後不久，有一位名叫約翰·海的在當地製造織布機用絲線的蘇格蘭人需要童工，他承諾每周會發兩美元的工資。這實在是一份高薪的工作，卡內基強烈地要求父親讓他去那裏工作。禁不住他的一再央求，父親終於答應了。
這份工作比之前的那份工作更加辛苦，卡內基被安排在一個黑暗的地下室裏用廢棄的木屑給一架蒸汽發動機燒鍋爐。
對一個孩童來說，這份工作真是太吃力了。卡內基必須住在工廠裏，夜裏每隔一段時間就要爬出被窩，去調整蒸氣壓力，以免它過高或過低，幾乎整夜都不能安睡。鍋爐的溫度和壓力讓卡內基感到非常害怕，如果氣壓太低，樓上的工人就會抱怨動力不足無法工作；如果氣壓太高，他又擔心鍋爐會爆炸。在短短的睡眠時間裏，卡內基常常被可怕的噩夢驚醒，以致日夜處於緊張和不安之中。