牛頓出生於僅有少量土地的普通農家。按照當時的階級劃分，他的社會出身是屬於出租土地的富農階層。這個階層雖然不太貧困，但是，由於英國激烈而持久的內戰，使他家也無法富裕起來。牛頓家裏有一幢石砌的古老而結實的二層樓房，牆上爬滿了常青藤，使人一看便可以知道它經曆了漫長的歲月。牛頓的幼年和童年就是在這裏度過的。
牛頓的父母都是平民。他父母的祖先也都是名不見經傳的英國社會中的小人物。牛頓的父親是一位身體健壯、勤勞樸實、憨厚正直的農夫。他靠著祖上傳下來的一點兒地產，以耕種為生，苦心經營。他的生活並不富裕，直到30多歲時，才與鄰村艾斯庫家的女兒漢娜結了婚。可是，不幸的是在他婚後不久，即牛頓出生前的1642年10月6日，由於患急性肺炎等疾病而倒下了。年僅36歲的父親就這樣結束了他年輕的生命。瘦弱的母親漢娜一麵忍受著巨大的精神上的打擊，一麵支撐著小小的家業，頑強地活了下來，並在丈夫去世後的兩個多月，生下了早產的小牛頓。為了紀念丈夫，漢娜媽媽給小牛頓起了一個與丈夫一樣的名字——伊薩克。小牛頓也在父親的故居中逐漸長大。這幢石砌的二層樓房，至今仍保存在格蘭瑟姆鎮附近的伍爾斯索普村中。
勤勞善良的漢娜，雖然體弱多病，但卻是一位非常要強的女性。她在既無親友救助又無遺產的情況下，一麵從事極其繁重的耕織勞動，一麵幫助別人做些針線活兒，以彌補經濟收入的不足。漢娜媽媽把全部的愛都傾注在牛頓身上，寧可自己含辛茹苦，也決不讓他受一點委屈。這樣，她們孤兒寡母相依為命，在困境中艱難地生活了3年。
在牛頓剛剛3歲時，一件令他悲痛欲絕的事情發生了。
那是一個對小牛頓影響極大的事件。原來，和他相依為命的漢娜媽媽，幾經貧困交加的煎熬之後，在鄰居們的勸說下，不得不決定改嫁，與鄰村的一個名叫巴拿巴·史密斯的牧師結婚了。按照規定漢娜媽媽要搬到牧師那裏——伍爾斯索普村南麵1.6公裏的小村莊北尉坦去住。由於史密斯不願意讓他的妻子帶著前夫的孩子，於是，剛剛3歲的小牛頓，不得不離開母親，繼續留住在伍爾斯索普村。他成了一個孤苦伶仃的孩子。這時，隻有外祖母艾斯庫和舅舅詹姆斯撫養、照顧可憐的小牛頓。
外祖母是一位心地善良的老太太。她對這個失去父親又離開母親的外孫，格外疼愛，並且細心地照料著小牛頓。盡管如此，幼年時期的牛頓，並不是一個聰明活潑、討人喜愛的孩子。他從小失去父親，又長年得不到母親的疼愛，這無疑影響了牛頓的非智力因素的發展，使他逐漸形成了膽小、靦腆和孤僻的性格。他從來不願意與小朋友們在一起玩耍，尤其是與那些喜歡打打鬧鬧的孩子更合不來。因此，幼年時期的牛頓，很少像其他孩子那樣爬樹、抓青蛙、拿著棍子到處跑，或者到河邊去釣魚。相反，牛頓卻鬱鬱寡歡，常常獨自一人待在家裏想著心事。這樣，不幸、孤獨伴隨著他整個幼年。