不料天有不測風雲，就在這群豬快要出欄的時候，一場猛烈的豬瘟侵襲了整個小鎮，卡耐基全家人隻能眼睜睜地看著一頭頭活蹦亂跳的豬接二連三地死去。為了避免疫病擴散，詹姆斯戴爾·卡耐基忍痛將死豬焚燒掉，焚燒時產生的焦糊味和心痛的感受使詹姆斯·卡耐基一輩子都沒有忘記。
養豬失敗後，詹姆斯·卡耐基也沒有氣餒，他又買了一頭公驢飼養，為了不讓驢子挨冷受凍，還特意將驢子拴在穀倉內。但是，詹姆斯·卡耐基真的是太不走運了，一天，拴驢的穀倉地板上有一塊木板鬆動了，而這頭公驢不偏不倚，恰好一腳踩在了木板的一端，結果木板的另一端高高地翹起，打在了公驢的腹部，那塊木板上正好有一根長釘，順勢深深地紮進了驢子的腹部，可憐的驢子當場一命嗚呼。
這接二連三的失敗和沉重打擊，讓一向樂觀的詹姆斯·卡耐基也變得沉默寡言起來，他那原本明亮、堅定的目光也顯得黯淡了，有好幾次他甚至流露出悲觀厭世的念頭，這讓全家人都緊張不已。
那段日子，每當詹姆斯·卡耐基單獨去穀倉喂馬或擠牛奶而沒有及時回來，伊麗莎白總會很焦急地前去探看，擔心他因一時想不開而尋了短見。
1898年，也就是在小卡耐基10歲那年，47歲的詹姆斯終於被沉重的債務負擔、常年的工作勞累和長期的精神打擊擊垮了，他患上了嚴重的抑鬱症。在疾病和貧困的雙重打擊下，詹姆斯的病情越來越嚴重，他情緒低落、思維遲緩，最後甚至到了吃不下飯的程度，連醫生都預測他最多也活不過六個月了。
到了償還銀行欠款最後期限的那一天，卡耐基家實在拿不出錢來，無奈，父親就拖著病體，到瑪麗維爾的銀行家那裏，再三請求再寬限幾日。結果，銀行家根本不予理會，並冷冰冰地撂下一句狠話：“如果到限期再拿不出錢來，就將你的家產沒收抵債！”失魂落魄的詹姆斯和小卡耐基在回家的路上，當走到102號河的橋上時，詹姆斯·卡耐基突然將馬車停下，走到橋邊呆呆地凝望著橋下那奔流不息的河水。
多少年來，這條河水既滋養了兩岸的莊稼和樹木，也給兩岸的農家帶來了無盡的苦難。想到如今的艱難際遇，詹姆斯·卡耐基不禁心灰意冷，他又慢慢向前挪了兩步，心裏想：“是否該向前一跳，就此一了百了呢？”
當時，小卡耐基感到很奇怪，便問道：
“爸爸，你還要等誰呢？”
詹姆斯的回答在許多年後還一直印在戴爾·卡耐基的腦海之中。
“我在想，這河水可以暢通無阻，而我卻四處碰壁，為什麼呢？”
戴爾·卡耐基成年後，曾經在很多場合提起這件事來：
“父親含著眼淚告訴我，要不是因為母親堅定的宗教信仰，他絕對沒有勇氣在那些瑣碎的日子裏生存下去。”
在那段艱苦的歲月裏，多虧了戴爾·卡耐基的母親伊麗莎白用她那堅強的宗教信念為全家擎起了一盞明燈。盡管家境貧窮，但伊麗莎白從來沒有抱怨過命運，她努力抗爭著，即使在忙於家務的時候，也滿懷樂觀地哼唱著聖歌。
醫生曾預言詹姆斯活不過六個月，也許是被伊麗莎白樂觀、堅韌的精神所感染，詹姆斯的情緒也漸漸穩定下來了，他不再為未來而憂慮，而是踏踏實實地過好每一天。慢慢地，詹姆斯的抑鬱症狀減輕了，家庭的債務也一點一點地還清了。最後，詹姆斯活到了89歲的高齡。
貧困的家庭生活讓幼小的卡耐基過早地品嚐了生活的艱辛，但父母毫不退縮的勇氣也讓卡耐基有勇氣去麵對未來的生活，有勇氣去走一條充滿坎坷但毫不退縮的路。