有時候他也會把自己長大後要如何建立功勳的幻想講給夥伴聽，但夥伴聽了卻一邊吃吃地笑一邊嘲諷地對他說：“你哪能去周遊什麼世界？你什麼都怕，怕母牛、怕黑，還怕水。再說，力氣也不夠。最好還是和你那些木偶玩去。”小安徒生委屈得直掉淚，他試圖證明，他的幻想總有一天會實現的。
這時小安徒生的父親已為生活所迫替別人參軍打仗去了。等到他終於逃過炮火回到歐登塞，回到小安徒生母子身邊時，身體已經垮了。盡管瑪麗婭想盡了一切辦法找藥並請女巫施巫術幫忙，但都無濟於事。
冬天的時候，有一次，小安徒生指著窗戶對爸爸喊：“爸爸，窗戶上的花紋圖案多好看啊！爸爸你看見了嗎？有一個穿白衣服的女人，頭上戴著一頂王冠，你看她伸開了雙臂。”
而這次小安徒生關於冰姑娘的幻想帶給他的卻是無盡的悲哀。母親認為看到冰姑娘夜裏往窗戶裏探頭並不是好兆頭。果然，父親就在春天又回來、殘冬漸漸退去的時候被冰姑娘帶走了。隨後就被埋在窮人墓地裏，任憑風吹雨打了。
自從父親去世後，家裏的日子更拮據了。母親總是在外麵忙著給人家洗衣服。小安徒生就獨自待在家裏同他的小木偶做伴，並給它們朗誦詩和講述自己每一個離奇的幻想。
在他的鄰居中，有一位牧師的遺孀邦克弗洛德夫人。她家是第一個盛情接待小安徒生的，屬於文化階層的家庭。那位已故的牧師寫過詩，而且在丹麥文學界享有盛名。
在這裏，小安徒生第一次聽到人們說“詩人”這個詞兒，也第一次讀到莎士比亞作品的蹩腳譯本。但很顯然，莎士比亞作品中那些奔放的描寫、壯烈的情節、美女以及鬼魂的描述正符合他幻想的口味。回到家後他就立即在他的小木偶舞台上演起莎士比亞的戲劇來。小安徒生仿佛看到了哈姆雷特的鬼魂，並和李爾王一起居住在石林叢生的荒地上。他那時還認為，一出戲中死的人越多就越有趣。
這時，小安徒生已經不滿足於僅僅在腦子裏幻想了，他開始寫了他的第一個劇本。這個劇本的主題是從希臘傳說的皮拉穆斯和西斯韋的愛情故事中借用的。那當然是一個像悲劇一樣的東西，不言而喻，劇中的每個人都死了。而且小安徒生還在原有的故事中又加了一些情節：一個隱士和他的兒子都愛上了西斯韋，而當西斯韋死後，父子倆也都自殺了。隱士的許多話都是《聖經》上的段落，出自《小教義問答》，特別是為了對他的街坊四鄰宣傳教義，他還給這個劇本取名為《阿波爾與埃爾維拉》。這是小安徒生第一次把自己腦中的幻想用文學的形式記錄下來，這對於他來說是一個可貴的嚐試。
可當他把自己的作品拿到一位鄰居那裏，並興致勃勃地讀給街上的人們聽時，一位鄰居卻詼諧地對他說這個劇應該叫《河鱸與鱈魚幹》。這使小安徒生太泄氣了，因為他覺得那位鄰居是把他和他的作品當成笑柄了。於是，他懷著憂鬱的心情把這件事告訴了他的母親。母親安慰小安徒生說：“她不過是這樣說說罷了，因為她的兒子寫不出劇本來。”他仿佛從母親的話中得到了安慰，又開始寫一個新劇本，又開始在幻想的世界中遨遊了……
小安徒生的母親整天抱著一大堆髒衣服在河邊的一塊大石頭上搓呀、揉呀、洗呀，為的是可以養活自己和可憐的小安徒生。小安徒生幫不了母親什麼忙，就陪著她，在她附近玩耍。在大人們想來，光禿禿的河岸再普通不過了，而在小安徒生的眼裏，這裏每時每刻都發生著有趣的事情。
靜靜的小河邊有一座水磨，它那巨大的輪子總是發出轟隆隆的響聲並不斷噴出乳白色的泡沫。河上時時有傲慢的鸛鳥挺立著。河岸上有一棵彎曲的柳樹，有趣的是竟從樹幹的半腰間長出一棵草來，叫人浮想聯翩。每當水閘關上、水退以後，就會有無數的小鯿魚在沙灘上絕望地掙紮，而水耗子們則氣衝衝地抖動著胡須，覬覦著這些小鯿魚。小安徒生對於這些簡直是了如指掌，有時甚至能滔滔不絕地講述這些小東西的故事給人聽。
有一天，一位在河邊洗衣服的大娘告訴小安徒生一個驚人的事情，那就是中國就坐落在歐登塞這條小河的對麵。如果從這裏使勁地往地裏挖呀挖呀，最後就能挖出一條通往中國的通道。當然，他一個人是沒有辦法挖那麼深的，但中國人卻可以做到。
那時候，小安徒生並沒感到這是完全不可能的事。他總是坐在岸邊，嘴裏唱著隻有他才會唱的最優美動聽的歌，然後幻想，在某一個月夜，一位中國王子也許會挖穿地球來到他麵前聽他唱優美的歌，並且把他帶到中國去，使他富貴顯赫起來。到那時，他一定會有一座水晶的城堡，那麼他就乘著一隻大船回家，這隻大船要和不久前任富恩島總督的國王的兄弟克裏蒂安親王的那隻一模一樣。他就在歐登塞的水晶城堡中生活下去。多少個夜晚，小安徒生都忙著繪製和設計這個城堡的平麵圖。這個美麗而離奇的幻想一直占據著小安徒生的心，以至於很久以後他在哥本哈根朗誦他的詩歌時，仍然希望在他的聽眾中真會有那麼一個聆聽他、了解他並幫助他的王子。後來，他終於寫了一則關於中國皇帝和會唱優美動聽的歌的夜鶯之間的童話，那就是《夜鶯》。隻是《夜鶯》裏所滲入的現實主義成分要大大超過兒時簡單的幻想了，而且擁有了廣泛而深刻的社會意義。
十二三歲時，安徒生已經長成了一個高高個子的小夥子了。母親覺得再不能讓他繼續毫無生活目的地閑逛下去了，便把他送到慈善學校去學習。安徒生在學校裏學的隻是宗教、寫作和算術，而且算術學得很差。他還幾乎不能用字母正確地拚一個詞兒。安徒生從不在家裏做功課，而習慣於在上學的途中學習，當然成績不會很好。
他們的校長叫維爾黑文，挪威人，是個好人但性情暴躁。他對宗教很虔誠，在全麵講解《聖經》曆史課時，講得生動有趣，所以安徒生一邊聽他講，一麵感到牆上那些以《舊約》為題材的彩色畫片都變得栩栩如生起來。而且在那時看來，它們同安徒生後來發現的意大利文藝複興時期著名的畫家拉斐爾和蒂希安的壯麗圖畫一樣的美麗、真實和鮮豔。他常常對著一幅幅畫兒馳騁自己的想象，也常常給同學們講各種稀奇古怪的故事。在這些故事中安徒生總是領袖人物，但有時他也會因為這個受到挖苦，有時甚至被一群粗野的孩子跟著，並在背後譏笑他，衝他喊叫：“瞧，劇作家跑了！”安徒生曾因為這個一個人藏在家中的角落裏哭泣著向上帝祈禱。但所有這一切並沒有折斷他幻想的翅膀，反而使他在各種冷嘲熱諷中練硬了翅膀。