在鬱達夫幼小的時候，陪伴他的隻有祖母單調、蒼涼的念經聲，由此他漸漸形成了孤僻、自卑的性格。
1896年，甲午戰爭爆發的第三年。大清帝國近三百年的統治進入了尾聲。強鄰入侵，民生凋敝，政治腐敗，國運衰微。中華民族被籠罩在恥辱和災難之中。
這一年的12月7日，即清光緒二十二年十一月初三，鬱達夫出生在浙江省富陽縣城裏。富陽是一座文化古城，秦朝即已建縣，時稱富春縣，宋朝始定稱今名。這裏土地肥沃，人口稠密，物產豐富，是著名的魚米之鄉。富陽縣城東去杭州八十餘裏，西距桐廬近百裏，地處水陸要衝。它三麵環山，城南則是一碧如洗的富春江，奇山異水，風景秀麗。山明水秀的自然勝景使年幼的鬱達夫從小在心靈上獲得了美的熏陶。
鬱達夫原名文，字達夫，小名蔭生。他是鬱家的幼子，長兄鬱華，字曼陀；二兄鬱浩，字養吾；姐姐鬱鳳珍。鬱家是世代書香門第，太平天國以後逐漸衰落，到鬱達夫出生的時候，已淪落到破落鄉紳的地步，家產僅為一座舊式三開間的小樓和六畝薄田。父親鬱企曾，做過塾師和中醫，後又曾在縣衙門任職，做過文房司書和稅務員之類的工作。在鬱達夫三歲那年，父親因不堪生活的重壓，積勞成疾，離開人世，終年三十八歲。父親的去世，使原本處於窘迫境狀的鬱家雪上加霜，孤兒寡母從此飽受生活的磨難。母親獨自挑起了沉重的生活擔子，經常奔波在外。六歲的姐姐不得不送給人家做童養媳。鬱達夫過早地嚐到了人世間的辛酸。多年以後他回憶童年生活時，仍心有餘悸地說：“我所經驗到的最初的感覺，便是饑餓。”
家庭的不幸在鬱達夫幼小的心田裏烙下了深深的印痕。母親常常不在家，兩個兄長都在離家很遠的私塾讀書，隻有老邁的吃齋禮佛的祖母陪伴著他。在陰暗、空寂的房子裏，時而傳出老祖母單調、蒼涼的念經聲。這使年幼的鬱達夫倍感寂寞。有時，趁著祖母念經，他悄悄地溜出家門，走到江邊，呆呆地看著江上穿梭來往的帆船，或者出神地眺望對岸的煙樹青山。他暗暗感歎：“這世界真大呀！那寬廣的水麵！那澄碧的天空！那些上下的船隻，究竟是從哪裏來，上哪裏去的呢？”他盼望著自己快快長大。童年時孤獨、寂寞的生活使他漸漸形成了孤僻、自卑、內向的性格。
翠花和阿千是鬱達夫童年的小夥伴，鬱達夫從他們那裏感受到了生活的溫暖和快樂。翠花在鬱家做使喚丫頭，雖然隻比鬱達夫大幾歲，但她聰慧能幹，善解人意，懂得嗬護他。一天中午，鬱達夫站在花壇邊的石階上看大缸裏的金魚，正午的陽光直射缸底，金魚和水藻構成了一幅奇妙的圖景。鬱達夫趴在缸邊上，看得出了神，一不小心，頭栽了進去。他在水裏亂踢亂舞，很快失去了知覺。等他醒過來，已到了夜裏。他一睜開眼，便看到翠花紅腫雙眼依偎著他，目光呆滯。翠花見到他醒來，激動地一把抱住他，喜悅的淚水奪眶而出。在童年灰色的日子裏，翠花給了鬱達夫許多溫暖和關懷。
阿千則是鬱達夫的一位小鄰居。這個年紀隻比他大一歲的男孩見識廣，經曆多，會幹各種各樣的活，富有冒險精神。他成為鬱達夫崇拜的小英雄。一個春天的早晨，鬱達夫趁祖母和母親都不在家，跟著阿千一口氣跑出了縣城，進行平生第一次冒險。他倆爬上盤龍山，在亂石草木中穿行。阿千見鬱達夫累了，讓他坐在大石頭上休息，自己唱著戲砍柴采野果去了。鬱達夫沐浴著溫暖的春陽，眺望著山下寬闊的大江和遠處澄碧的天空，心裏莫名其妙地起了一種渴望和愁思。他渴望坐上大船去遠方，恍惚覺得來到一個不相識的地方，在那裏自由自在地生活。他忽而又起了對鄉井的離愁。他在那塊半山的大石頭上做了一連串的白日夢，直到阿千背了一捆柴草，捧了一包刺莓、映山紅、烏米飯之類的野果回到他身邊。這次冒險經曆給了鬱達夫很大的刺激，他真切地感受到外麵世界的廣闊和生活的新奇。事後，有人問他：“你大了，打算去做些什麼？”他毫不遲疑地回答：“我願意去砍柴！”