1967年，蘇托洛學成歸國，出任印尼石油公司某部門經理，小奧巴馬隨母親前往雅加達上學。由於幼時在雅加達接受本土教育，奧巴馬至今還能說印尼話。
1971
年，奧巴馬的母親又和繼父離異，10
歲的奧巴馬獨自返回美國，與外祖父母住在一起。而母親則帶著奧巴馬同母異父的妹妹留在印尼，同時在夏威夷大學攻讀人類學博士學位。她的論文指導教授也是她最好的朋友，叫艾麗絲·杜威。艾麗絲的祖父即大名鼎鼎的哲學家、胡適的老師約翰·杜威。
奧巴馬的外公參加過二戰，退伍後成為家具推銷員一直到退休。外婆瑪德琳已經有80多歲，仍住在檀香山。她隻有高中畢業，但極為能幹，從秘書一直做到夏威夷銀行副總裁。瑪德琳認真撫養外孫歐巴馬，把他送進最好的學校普納荷中學，全校1200名學生，隻有三個黑人，其中一個就是奧巴馬。
奧巴馬顯然繼承了母親和外婆的特質。他說，外祖母深具中西部美國人謹慎與苦幹的本性，他越長大越覺得外婆對他潛移默化的影響非常之深。
盡管奧巴馬的姥姥姥爺反對女兒與老奧巴馬的婚姻，同時還受到奧巴馬在肯尼亞的爺爺來信的侮辱，但他們並沒有因此而在奧巴馬的麵前詆毀他的父親，反而，他們會向對父親沒太深記憶的奧巴馬談到他父親的軼事，例如談起老奧巴馬曾在國際音樂節上唱非洲歌曲，"你老爸唱得非常好，每個人都被他迷倒了。"
1973
年，奧巴馬的母親回到美國。奧巴馬的外婆是個腳踏實地的務實派，而奧巴馬的母親卻是個崇尚自由、充滿理想和幻想的學者兼白日夢者，她會和兒子一起觀賞日落月出的美景，也經常在半夜把奧巴馬從床上叫起來看美麗的月色，或是聽收音機裏的函授課程。
1995
年，奧巴馬的母親雪莉·安·鄧漢姆死於卵巢癌，終年53歲。奧巴馬曾經在書裏寫到他媽媽跟癌症搏鬥的過程，並體驗到母親的眼神中透露出來的孤獨感，他寫道:"雖然她勇敢地同癌症搏鬥著，自始至終都堅持用優雅的姿態和不時的幽默來迎接死神。但是我還是不止一次從母親的眼神裏發現一閃而過的恐懼，這種恐懼肯定不僅僅是因為對肉體的病痛和渺茫未知的世界的恐懼，而是走向生命終點時的徹底的孤獨――在一個人生命的最後旅程中，沒有第二個人能完整體會孤單的獨行者內心的況味。"
在經曆了親人的亡故後，奧巴馬覺得人應該活得有信仰，後來他接受了加入基督教的洗禮。他說:"一個人需要虔誠地皈依基督，因為人們無不有需要洗滌的罪惡，也因為既然你是一個活生生的人，你就需要在崎嶇的人生道路上為自己找到一個根本的精神支柱，以便將這崎嶇的道路變得順暢平坦一些。"