安徒生在他的自傳《我的一生》中說他的父親雖然並不是一個高明的鞋匠，卻是一個“才華橫溢、具有豐富想象力的人”。然而，父親年紀輕輕就拋下小安徒生和他可憐的妻子到另外一個世界去了。但他的小安徒生是一個具有豐富想象力的孩子，這或許有他的影響。
小安徒生的爺爺也是一個鞋匠。在父親9歲那年，家裏突遭變故，爺爺精神失常，瘋了。奶奶隻好將父親送到一個熟悉的鞋匠師傅那裏去學徒。然而，父親的心思卻不在做鞋、修鞋、補鞋上，手中的工具經常滑落下來，因為他時常沉浸在自己的幻想中……
他經常幻想能夠走進寬敞而明亮的教室讀書，還幻想有一天坐著大帆船到世界各地旅行。但他始終沒有把這些幻想變成現實。於是，他把希望寄托在小安徒生身上。他盡量滿足兒子的全部心願，因為兒子占據著他的全部心靈。他熱愛文學，於是經常在忽明忽暗、閃爍不定的油燈下一邊做活一邊給小安徒生念荷爾堡的戲劇和《一千零一夜》的故事，小安徒生就慢慢地在父親娓娓的講述中進入了夢鄉。但那些神奇的故事已經使他插上了幻想的翅膀，常常引得他即使在夢中還浮想聯翩。
當然，小安徒生的幻想是屬於自己的，這和父親的大大不同。他經常夢見黑眼珠的少女在麵紗下神秘地微笑，還夢見惡魔以及長滿奇異花草的漂亮的花園。
小安徒生是個性格比較內向而敏感的孩子，無論在學校還是在家裏他都很少主動和別的孩子一起玩。後來由於受富貴人家孩子的欺侮和無端的謾罵就更顯得孤獨。但他並不寂寞，他也不喜歡有人到他家串門聊天，他把自己的熱情投入到幻想中去，在逍遙自在、海闊天空的幻想中找到了一份屬於自己的天地。
冬天來到的時候，不能跑到外麵的樹林、草地上去編織白日夢了，小安徒生就把一枚銅錢放在爐子裏燒紅，然後把它貼在結了冰的窗戶上，透過那透明的小孔看外麵晴朗的天空，還看見一群群無精打采的小麻雀棲在白楊樹光禿禿的枝條上。一邊看一邊幻想春天來到的樣子。
本來他家的隔壁住著一個名叫麗絲別達的小姑娘，她是安徒生各種遊戲的參與者，也是一個愛幻想的小家夥。她能把一段木頭想象成一匹能把成袋麵粉馱到磨坊去的真驢子。所以，麗絲別達從不嘲笑安徒生，反而總是津津有味地聽他講自己編的故事。但麗絲別達的奶奶把她帶到鄉下去了，再也沒有誰聽他天馬行空地亂編故事了。
心靈手巧的父親怕自己的獨生子小安徒生太孤單，於是有一天，他突然坐到工作台旁，開始刨一塊木頭，他決定為兒子做幾個玩具木偶。
“咱們就要有演員、有舞台、有幕布了！”他對小安徒生說，“你去向媽媽要些沒用的碎布，給演員縫幾件衣服吧！”
雖然這些木偶做得很粗糙，但卻樂壞了小安徒生。他到媽媽和奶奶那裏找來碎布片給這些木偶縫製了花花綠綠的衣服。木偶一個個地漂亮起來了。當然，有時一隻袖子要比另一隻袖子短一點。但他的“國王”得到了一頂真的鍍金的王冠和一把木劍，並且為了他的“王後”，奶奶拿出了一塊在她記事以前就保存下來的最漂亮的絲質布頭。而且他還憑借想象把這些本沒有生命的小木偶賦予人的靈魂，讓他們裝扮成英俊的王子、善良美麗的公主、勇敢的士兵、可怕的巫師、勤勞的農民……並用這些自製的木偶組成了一個“傀儡戲班”。父親也從書架上拿下荷爾堡的書，和小安徒生一起興致勃勃地在自己的劇場裏，一幕又一幕地演戲。小安徒生能毫不費力地把整幕整幕的台詞背得滾瓜爛熟，而且很快就能給所有登場的人物念台詞。後來，他還自任編劇和導演，演出各種各樣的節目。當然，觀眾少得可憐，經常是隻有自己和父親自娛自樂，而且在父親心情不好時，他隻能一個人沉浸在自己編的故事裏，但他卻樂此不疲。
所以，安徒生在回憶這段生活時說：“很少和別的孩子在一起玩，連在學校裏我也對他們的遊戲沒有多少興趣，而是一個人留在屋子裏坐著。在家裏我有父親給我做的足夠的玩具。我最大的樂趣是給我的玩具娃娃做衣服，或者把母親的一條圍裙拉開，把它晾在一片紅醋栗灌木叢前麵的一堵牆與兩根棍子之間，我從圍裙中間的空隙裏凝視著被陽光照射的葉子。那紅醋栗灌木是我栽種在院子裏的。我是個非常喜歡空想的孩子，因此經常閉著眼睛在附近徘徊，以致後來給人們留下視力較差的印象，雖然我特別訓練過視覺。”
小安徒生終日沉醉在演戲之中，並且結識了在劇院裏發節目單的彼得·空凱爾。他總能憑著一些交情每天從那個人那兒得到一份節目單。然後小安徒生就拿著節目單獨自坐到一個角落裏，根據這出戲的名稱和角色，設想全部劇情。以至於有一次當小安徒生得到一張“著名俠盜阿別林諾，五幕劇”的節目單時，不由得懷著驚喜之情念出聲來，而且極力想象著這個神秘的俠盜種種驚險的遭遇，很長時間陶醉於其中不能自拔。
不僅如此，小安徒生還經常跑到奶奶那裏去，聽她或其他奶奶們講古老的民間故事和歌謠，他能和她們一待就是幾個小時。這些老奶奶們給小安徒生講故事，同時也非常耐心地聽他講自己杜撰的故事，聽他大聲地朗誦他所記得的詩歌和劇本。她們都驚訝地說：瞧這孩子腦子多靈啊！瞧著吧，他一定會出人頭地的。於是，就用講更多的故事的方式，來獎勵小安徒生的聰明機靈和乖巧。因此，像《一千零一夜》那樣豐富的世界就展現在他麵前了。他最愛聽的就是關於亞格涅特和水神相愛的民歌，每次聽到這支歌，他總會被其中動人的情節打動，仿佛一切都成了真的一樣。他幻想美麗的亞格涅特來到水邊時，被水神愛上了，並且來到海底和水神一起生活。但後來時間長了，她在海底心情憂鬱，就重新返回了人間。水神和他們的孩子們因為失去了她而日夜哭泣，而亞格涅特卻沒有回到海底。所以，晚上回到家裏躺到床上時，小安徒生就會睜著眼睛做好一會兒夢，仿佛現實世界與他無關似的。他的思緒早就飛到那蔚藍的大海深處的世界裏去了。人們可以從他後來著名的童話故事《海的女兒》對海底世界光怪陸離的描述中，窺見一絲他兒時的幻想的痕跡。在那海的深處，在明亮得像玻璃、藍得像矢車菊花瓣似的大海最深處的海底王國，以及眼睛蔚藍得像最深的湖水、歌聲美妙得難以形容的小美人魚，都曾在他兒時的幻想空間中出現過。
轉眼間，小安徒生已經六七歲了。家裏的日子越來越難過了。而他根本就沒有注意到這些，他仍是一個不知愁的滿腦袋幻想的小精靈。
有一次，他帶著一小把野花和奶奶給他的一根有趣的棍子興衝衝地跑回家。在這根棍子的一端，爺爺給雕了一個跟真的一模一樣的馬頭。媽媽、爸爸都不在家，於是小安徒生毫不費力地就把自己想象成英俊的騎士，在屋子裏折騰開了。他想象自己跨上駿馬去尋找寶藏，但有一條會噴火的龍看守著這些寶貝。他把一個爐子想象成一個山洞，那條會噴火的龍就盤在這個山洞裏。他又把櫃櫥想象成一座魔山，要想悄悄地爬上藏著寶貝的魔山，就必須通過火爐子這個黑洞洞。但隻要懂得魔訣，鐵鎖就會哢嚓一下立刻打開來，大門洞開，而勇敢的騎士就會得到大堆金銀財寶！但沒過多久，媽媽回來了。為了整理散亂的雜物就把勇敢的小騎士攆到院子裏了。於是，他轉移到空蕩蕩的泥炭壘的小窩棚裏，繼續做他的英雄夢。當英勇的小騎士建立了許許多多功勳時，媽媽還沒有叫他去吃飯。當騎士結束遠征凱旋時，他吹起了號角，隆重地進入了父親的城堡……可是這時那帶著馬頭的棍子卻啪的一聲倒在地上，而小安徒生已在門檻上凍僵了……