卡耐基常常穿著破舊的衣服，站在農舍外圍比較高的地方，可憐巴巴地看著河水洶湧而至，漫過河堤，席卷農地，緊接著農作物被摧毀。小卡耐基想買一件新衣服的願望再次被毀滅。
河水退去後，他不得不和父親走過泥濘的土地，去挽救那些劫後餘生的農作物莖稈。
由於歉收，一家人隻能再次以借債度過饑荒。
後來卡耐基回憶起這些往事，他說，母親是個樂觀的基督教徒，即使是在絕望之中，她還在唱著聖歌，不過，父親就滿麵地沮喪。這些在幼小卡耐基的心靈中紮下了根，使得他能夠麵對那些不愉快。
與農作物遭殃的同時，豬兒、牛兒因霍亂而死亡，這更給卡耐基一家沉重的打擊。看來，卡耐基的童年傾於憂鬱。
1948年，在他的《擺脫憂鬱》中就這樣寫道：
我常常記得，母親固然堅強，可在經曆了一係列的自然災禍之後，她的信仰也漸漸地變得沮喪，父親去穀倉喂馬和乳牛時，她常常會擔心父親的身體會傾倒。父親也賺不到利潤，很多時候總是在唉聲歎氣。
童年的憂鬱似乎籠罩著我，給我帶來了太多的不幸，我還記得，1898年，父親詹姆斯·卡耐基得了精神崩潰症，明顯的生活壓力壓倒了這位農場主。當醫生告知母親父親不會活過六個月時，當時的我還不到十歲，看著母親閃動的淚花，大聲地對醫生吼道：“你撒謊，你騙人……”卡耐基是不能接受這是真的，即便沒有最終像醫生預想的那樣不幸，父親的悲觀在他的心裏留下了陰影。一天，父親到銀行裏去懇求延長償還貸款，銀行就以沒收卡耐基家的財產相威脅。父親懊悔地回到家，黯然神傷地看著漸漸流淌的102號河。卡耐基覺得奇怪，就問道：‘爸爸，你在想什麼呢？’‘我在想，河水能通暢無阻，為什麼我常常碰壁？’
這些話，在卡耐基長大後，在對公眾提及這件事時，他說：“父親飽含淚水的告訴我，要不是由於母親的堅強的宗教信仰，我當時就垮了。”
1900年，卡耐基一家人搬到了距曼哈尼教堂一裏外的莫瑞農場，可貧窮還在。
小卡耐基最害怕每月一次或兩次和父親一起乘運木頭的貨車到瑪麗維爾，因為城市裏的新鮮讓他感覺不可思議。
有一次，父親竟然給了他10美分，讓他隨意花費。這對於卡耐基來說，是一件好事，但欣喜過後就開始犯愁了。
“如何開銷它們呢？是買一盒糖，還是買一件像樣的玩具？”
走進商店，他從鏡子裏看到他一身破爛的衣服，便覺得慚愧，悶悶不樂地離開了。
1901年，父親和聖約瑟的屠夫有了合作，卡耐基得以有了去聖約瑟的機會。聖約瑟是他上中學以前見過的最大城市。
當在市裏，那些摩天大樓，那些人群，把他深深地吸引住了。
有一天，卡耐基在家鄉，一位名叫尼克拉斯·梭得的教師住到他家。放學回來的時候，聽到梭得先生的房間一陣“啪啪”的聲音，卡耐基看到梭得先生坐在一個鍵盤前，手指不斷地敲動，他驚奇地睜著雙眼，走近用手指按了一下鍵。
“真是神奇，老師，能送給我一件這樣的東西嗎？”
尼克拉斯·梭得沒有馬上同意，而是給他講了許多新鮮的事物，滿足了卡耐基的好奇。
卡耐基的視野更開闊了，梭得先生搬走以後，他總期望他再來，但梭得先生一直就再也沒有音訊。
另一件事情也開拓了卡耐基的生活領域和視野。
1902年，兩列火車在瓦倫斯堡境內相撞，卡耐基和父親出來到出事地點幫助旅客們做些力所能及的事情。
卡耐基結識了一位受傷的男客，聽說客人來自賓夕法尼亞州，一個約有幾十萬人口的大城市。
卡耐基聽著聽著，簡直不敢想象。
那位男客名叫史密斯·泰勒，是賓夕法尼亞州一家劇院的滑稽演員。三十年後，卡耐基是有名的公眾演說家時，他做夢都沒有想到，當初在密蘇裏邂逅的那位小家夥竟然能和侃侃而談的演說家連上等號，於是，史密斯·泰勒選修了卡耐基的課程。
卡耐基在《擺脫憂鬱的方法》一書中，表明了他當時生活的態度：
“童年的我是憂鬱與恐懼十分嚴重的，過早地對死亡產生過恐懼，擔心死後會下地獄。”
還有，風靡全球的《擺脫憂鬱的方法》，也是他對生活態度的總結。
的確，卡耐基很早就對死亡產生過恐懼，他總認為自己犯有種種罪狀並且一定會遭到上帝的懲罰，更擔心死後會下地獄。當他發覺密蘇裏上空火光四射，雷聲隆隆時，臉色鐵青地跑到家裏，撲到母親的懷抱，讓母親救他。對這個可憐的男孩，母親隻是安慰。費了好大的功夫，才知道原來卡耐基是被雷電嚇到了。
由於貧窮和生理上的缺陷，卡耐基比其他的孩子更憂鬱。
在校園裏，他那雙大耳朵是同學們譏笑的對象，他的左手少一根食指也是被嘲笑的原因。卡耐基為此愁苦，常常一個人暗自流淚。