他後來回憶說：
“我之所以能夠現在堅強，是擺脫了當初的憂鬱啊！我還記得，有一個叫比爾的男孩，我們之間發生了矛盾，他恐嚇要割掉我的耳朵，我當時信以為真，現在想想，真是太傻了。”
關於那段往事，卡耐基在後來的演講中這樣延伸：
“要想別人對你友善，和別人友好相處，就不能觸動他心靈的傷疤……”
這是卡耐基的一股能量，在麵對青春期時的一種對策。不過，青春期的卡耐基也有另一種憂鬱。
他希望和女孩子交往，但顯得局促不安，他擔心將來在結婚典禮時該怎麼辦。
就那時的憂鬱，卡耐基後來在書中說：
我幻想我們在某個鄉村教堂舉行婚禮，接著搭乘車頂綴有飾品的四輪馬車回到農場……
我不能想象我在回到農場的途中會說些什麼，我又如何才能讓我們的對話繼續下去……
這種假象讓卡耐基覺得不會有女孩樂意嫁給他，他因此失去魅力而煩惱。
直到1948年，卡耐基還向人們這樣說：
“當我微微舉帽向她們打招呼時，我還擔心女孩子們將對我愚蠢的動作與不敢恭維的外表而嘲弄我。”
就在瓦倫斯堡州立師範學院時，他又一次憂鬱。
每天早上，他都要騎馬進城上學，回到家裏的農場後要處理一大堆的雜務，例如：修剪樹木、擠牛奶、收拾殘湯剩飯喂豬……
隻能在幹完一切雜務後，他才可以點上煤油燈，在昏暗的燈光下開始讀書。
由於父親想探索致富的門路，決定養一種叫作杜洛克澤克的豬。時值春寒，為了防止這些豬仔不被凍死，除了把它們裝在一個用麻布遮著的籃子裏，再把籃子放在廚房火爐的旁邊，卡耐基又增添了照顧這些小豬的活。
在1936年的一部自述中，卡耐基提到了這件往事：
晚上在我睡覺前做的最後一件事，就是把放著小豬的籃子從廚房後麵的火爐旁邊搬進豬圈裏，讓那群小豬吃完奶，再把它們全部地放進籃子裏，接著把籃子重新搬放到火爐後邊去。最後，我上床睡覺，把鬧鍾的時間定在次日淩晨的兩三點鍾。隻要鬧鍾一響，不管有多麼大的困倦，我都要揉揉惺忪的睡眼，在凜冽的寒風中穿好衣服起床，重新把小豬送到豬圈吃奶後抱回來。接著我再把鬧鍾定在早上六點，那是我起來念拉丁文的時間。
有一次，我本想節約時間，就在淩晨三點，不穿衣褲地去給小豬喂奶，最後差點凍個半死，並由此患了傷寒，在床上躺了整整一周。那時我真的覺得死亡的大門正朝著我打開，以至於讓我看到了地獄門口的大字……
就算卡耐基的家離瓦倫斯堡市不遠，由於貧窮，和城裏的同學相比有著天壤之別，他有點自慚形穢。家裏的負擔，永遠穿著破舊的衣服，在學校裏受人冷眼，總有一種不愉快。
還在一次上數學課時，卡耐基被老師叫到黑板前回答問題。
當卡耐基走到講台後，教室裏立即爆發出一陣雷鳴般的大笑聲，老師接連做了幾個安靜的手勢都沒有起到效果。
卡耐基知道是嘲笑他的貧窮與落後，尷尬地站在講台上，深深地埋著頭，好像是上了一次審判台。
他回到家裏後，對母親說：“我不想去上學了！”
“為什麼，孩子！”
卡耐基滿心委屈地說：“同學笑話我穿的是破衣服，我沒有心思聽課與思考。”
母親看了卡耐基幾分鍾後，說：“你為何不想方設法讓他們因為佩服而尊敬你呢？好了，不要傷心，今年秋天，我們一定會給你買套新衣服。”
或許是這些話啟發了卡耐基，最後他沒有因為那一次的事而退學。
看來卡耐基還是頂住了精神上的打擊。
由於家境的窮困，母親渴望他將來做一名傳教士或是一名教員，讓他一定要好好讀書，將來才能夠出人頭地。
1904年，卡耐基高中畢業，進入到密蘇裏州華倫斯堡州立的師範學院讀書。他那時很刻苦，得到了全額獎學金。
這讓他覺得有力量，一股內在的潛能激發著他。他想尋求受人關注的方便之路，渴望擁有影響與名望。由於當時，棒球運動員、辯論與演講取勝的人大受歡迎，他知道自己沒有運動員的才能，就決定在演講比賽中取勝。雖然每次都失敗了，但卡耐基還是愈敗愈勇。
他並沒有因此永遠地失望與灰心喪氣，他還是站立了起來，要不不會有後來的演講大師。
卡耐基的童年就是這樣，看起來很憂鬱。但他卻從中成長了過來，最終取得了很多人都不可能達到的成就。這其中的力量不可或缺，要不是時刻去麵對，就有可能活在悲觀之中了。
好在卡耐基也感到了樂觀，從憂鬱中看到了成長的過程，他才能擺脫憂鬱，一步步地走來，從貧窮中走向卓越、走向輝煌的巔峰。