吳佩孚的童年，是在十分清苦的家境中度過的。而父母望子成龍，對他管教甚嚴，並寄予很高的希望。六歲時，父母將他送入私塾，念四書五經。放學回家，家裏連張桌子沒有，母親張氏就找來木板，放石磨頂上，把吳佩孚抱來放置磨棍之上，石磨被當成書桌。吳佩孚就倒騎磨根，咿呀學讀。
在吳佩孚14歲時，吳父過逝，他的弟弟吳文孚年僅11歲。孤兒寡母三人相依為命。家裏的安香雜貨店本屬小本，收入微薄，鮮有積蓄。父親去世後，生意日趨清冷，家境愈加困苦，吳佩孚“咬牙立誌”，要發奮讀書，出人頭地。
還在吳佩孚童年時，父親就常給他講述蓬萊抗倭名將戚繼光的故事，而離家不遠的戚家祠堂、父子總督坊，則是他經常去玩耍的地方。戚繼光剿滅倭寇的英雄壯舉，在他幼小的心靈裏留下深深的印記，漸生景仰之心，以至於後來成了的他的終生崇奉——誓死做一個像戚繼光般報效祖國的英雄。謝覺哉曾書寫大幅金匾“元敬再生”（元敬是戚繼光的號）嘉其為人心誌。在他成為直係的軍事統帥之後，特地在洛陽建造了一幢“繼光樓”，並題寫對聯：得誌當為天下雨，論交須有古人風。
1887年，這時的吳佩孚已長成身高一米六七的漢子，從外表上根本看不出還是年僅14歲的孩子。見母親為生活終日奔波操勞，他決定幫助母親分憂解愁。適值登州水師張貼招兵告示，吳佩孚得知後，苦苦勸說母親，決定虛報兩歲，以16歲的學子去報名考試，不意竟然順利錄取。平時，他住在家中，按規定時間，赴水師營培訓。後又拜在國學大師李丕森門下求學，開始了半兵半讀的學兵生活。
他每月領得薪餉，除去給先生束脩一元外，剩下的則分文不少交與母親。全家生活勉強維持下去。水師營每周隻有兩天上課操練，餘下的五天，吳佩孚於師門受業。每逢塾中期課，所為文字，氣機謗沛，清言霏屑，輒欲壓倒儕輩，奪取錦標。其師亦深加推許，目為不易之才。
1894年，中日甲午戰爭爆發。北洋水師被日本人打敗，日艦乘勢攻入中國，在渤海灣中耀武揚威，橫衝直撞，連陷大連、旅順、威海衛。翌年一月，日艦攻入蓬萊城北海域，向蓬萊閣發炮。炮彈擊中“海不揚波”大字。此時，吳佩孚正在蓬萊閣上，目睹了驚心動魄一幕，成為他終生不忘的國恥。他心中怒火中燒，暗暗立下誓言：總有一天，我吳佩孚要提一師勁旅，收複失地，還我河山！
在父母的嚴格管教下，他幾乎沒有任何娛樂或嗜好，一門心思習文練武。為日後叱吒風雲，成為直係統帥奠定了堅實基礎。
兒子當學兵後，吳母少了一個幫手，想到唯一的彌補辦法就是早為兒子娶一房媳婦。第二年秋季，吳佩孚遵從母命，娶了18歲的王氏為妻。同住在安香雜貨店裏。結婚三年，並無生育。1891年夏天，王氏暴病而亡，安葬於吳家祖墳地。他繼續過著半兵半讀的學兵生涯。
1896年秋末，登州府舉行院試，23歲的吳佩孚赴試。考題是：惟女子與小人難養也。吳佩孚文思泉湧，駕馭自如。主發榜之日，吳佩孚以第三名中了秀才，從此得了做官的進身初階。安香店門前，頓時熱鬧非凡。吳秀才成為蓬萊縣城街頭巷議的中心人物。