在群山環繞的晉中盆地的北端，矗立著一座曆史悠久的城市——太原。太原，古稱晉陽，簡稱並，是山西省省會，華北著名的重工業基地。它東傍太行山，西依呂梁山，東西兩山對峙向北合攏環抱，汾河從北向南縱貫市區中心，形成南北狹長的帶狀城市。由於太原地勢險要，資源豐富，曆來為兵家必爭之地。古晉陽城創建於公元前497年，自春秋以來數十個朝代，一直是北方的重鎮，曾作為趙國都城、秦漢重鎮、北朝“霸府”、盛唐“北京”、五代要壘、宋元時的“錦繡太原城”、明清邊城。1911年辛亥革命成功後，它又成了閻錫山的首府。
在山西和河北交界處，有一座舉世聞名的山峰——五台山。《水經注》載：“五台山其山五台巍然，故曰台。”又名五頂山，又名五峰山，又名清涼山。《華嚴經》上說：“清涼山者，即代州雁門五台也。歲積堅冰，夏仍飛雪，曾無炎暑，故名清涼。”五台，一為中台，又名翠岩峰；一為東台，又名望海峰；一為西台，又名掛月峰；一為南台，又名錦繡峰；一為北台，又名葉鬥峰，為五台山主峰，也是華北最高的山峰，海拔3058米。自東漢以來，五台山就是中國佛教的一大聖地，它與四川峨眉山、浙江普陀山、安徽九華山並稱為中國四大佛教名山。
1883年10月8日，閻錫山出生在離五台山不遠的五台縣河邊村文昌堡。環繞著風景秀麗的五台山，有一條在中國北方頗有名氣的河流——滹沱河，滹沱河緩緩地流過文山腳下，與一條從西南方向湍湍而來的牧馬河彙合了。就在這兩條河交彙的地方，坐落著一個近千戶人家的大村莊，這便是河邊村村名的來曆。河邊村的屋宇建築，按地理形勢和家族宗祠自然形成了18個堡子，而且名稱各異。閻錫山出生在永昌堡，由於這個堡子裏建有一座文昌閣，因而當地百姓習慣把它稱為文昌堡。
閻錫山，字百川，號壟地，乳名叫萬喜，人稱“萬喜子”。萬喜子6歲時，他的母親曲月清去世了，父親閻書堂續娶了陳秀卿。但繼母堅決不養萬喜子，被掃地出門的他隻好由外婆領去撫養。年幼的萬喜子為此飽受了寄人籬下之苦，使他在精神上受到了很大的刺激。小時候，他的性情就非常剛烈。他有時沉默寡言，有時異常狂暴，有時十分馴順，有時放蕩不羈。9歲時，他的外婆和舅舅送他到一家私塾念書，老塾師給他起了一個他沿用一生的名字：錫山。16歲那年，他隨父親到縣城自家開設的“吉慶昌”錢鋪學商。在兩年多的時間裏，他明白了什麼是“精打細算”、“唯利是圖”和“投機鑽營”。這段時間雖然不長，但對他性格的形成起到了很大的作用。20世紀30年代初期，南京出版的一家報紙曾經刊登過一幅這樣的漫畫：閻錫山身穿團花馬褂，頭戴瓜皮小帽，一手舉著一架算盤，一手拿著一張委任狀。這幅漫畫便是對他的最真實的寫照。
大約在他18歲那年，他的父親破產了，父子二人跑到太原躲債。他在柳巷“裕盛店”裏當上了小夥計。一天，在太原繁華的街道上，他目睹了清廷官員的炫赫聲勢，羨慕不已。也許從那一刻起，他便立下了“躋身官場，光耀門庭”的勃勃雄心和誌向——這原本是舊時代很多中國青年人的遠大抱負。
1904年，清政府選派大批青年到國外留學，閻錫山應試錄取。他和山西武備學堂的20名學生一起赴日學習。這成為閻錫山一生中最為重要的轉折點。
4年之後，比閻錫山小4歲的蔣介石也來到了日本。
蔣、閻在家庭出身、青少年時期的經曆頗有相似之處。二人均出身於理財之家，性情剛烈，圖抱負飄洋東渡，接受資產階級民主革命思想，參加孫中山領導的同盟會，積極進行革命活動。後來他們的發跡也頗為相似：在革命中壯大自己，工於心計，攀附名貴，利用權術，投機取巧。他們都成功了，一個當上國民黨的總裁，中國的頭號人物；一個當上了山西的土皇帝，威震一方。