在六億年以前，太行山地區是一片汪洋大海，後來經過了頻繁的地殼活動，地麵上升下降，海水時進時退，當海退時，這裏沼澤廣布，氣候溫暖潮濕，生長著茂密的森林，因此形成了太行山區豐富的煤炭資源。以後的一次次地殼活動，使太行山脈逐漸隆起。後又與東西的華北大平原斷裂，形成太行東部陡峭，西部徐緩的地貌形態。
約在240萬年前開始大幅度隆起並逐漸形成。早在28億年前，太行山地區被海水淹沒，沉積了巨厚的碎屑岩、含鐵矽質岩及碳酸鹽地層，受五台運動和呂梁運動的影響，區內古老的地層普遍遭受褶皺、變質，並伴隨有斷裂和石英岩脈的侵入。至距今18億年，形成了混合岩化的結晶基底岩層。
自距今18億年的呂梁運動以後，本區地殼進入差異升降階段，並由此導致了海水的進退往複，分別形成了中元古代地台沉積蓋層，以及上覆的古生界寒武、奧陶、石炭和二疊係地層。其中奧陶和二疊係為含煤地層。發生在中生代的燕山運動使太行山褶皺帶逐漸形成並發育太行山前深大斷裂帶。
發生在新生代的喜馬拉雅運動使太行山強烈隆升，而山前的華北平原則相對下沉，經過數百萬年的千古錘煉，太行山終於產生。
山地受拒馬河、滹沱河、漳河、沁河、丹河等切割，多橫穀，當地稱為“陘”，古有“太行八陘”之稱，為東西交通重要孔道。太行山東翼斷陷盆地中分布有井陘、臨城、峰峰、六河溝等著名煤礦。太行山為重要地理分界，山以西為黃土高原，以東為黃淮海平原。山地對夏季風有明顯阻滯作用，迎風坡降水較多，並形成暴雨區。山地東側為地震強烈活動帶。
太行山脈的的地質基底是複式單斜褶皺。東側為斷層構造，相對高差達1500~2000米，山前發育典型的洪積扇以及衝洪積平原。從北向南有小五台山（海拔2882米）、太白山、白石山、狼牙山、南坨山、陽曲山、王莽嶺等山峰。山西高原東部河流多切過太行山進入河北平原，彙入海河水係。隻有西南部的沁河水係向南彙入黃河。
太行山是中國東部的一條重要地理界線。東部的華北平原是落葉闊葉林地帶，西側的黃土高原是森林草原地帶和幹草原地帶，兩側的植被、土壤垂直帶特征也存在明顯差異。
太行山脈多東西向橫穀，自古就是交通要道，商旅通衢。太行山山勢東陡西緩，山西高原東部河流多切過太行山進入河北平原，彙入海河水係。隻有西南部的沁河水係向南彙入黃河。山中多雄關，著名的有位於河北的紫荊關，山西的娘子關、虹梯關、壺關、天井關等。
山西高原的河流經太行山流入華北平原，流曲深澈，峽穀毗連，多瀑布湍流。河穀及山前地帶多泉水，以娘子關泉為最大。河穀兩崖有多層溶洞，著名的有陵川的黃圍洞、晉城的黃龍油、黎城的黃崖洞和北京房山的雲水洞等。
太行山形勢險峻，曆來被視為兵要之地。從春秋戰國直到明、清，兩千多年間烽火不息。公元前650年，齊伐晉，入孟門、登太行。齊桓公曾懸車束馬窬太行。公元前263年，秦國攻伐韓國，在太行山“決羊腸之險”，一舉奪韓滎陽。公元前204年，劉邦被困於滎陽、成皋之間，他采納酈食其的建議，北扼飛狐之口，南守白馬（今河南滑縣東北）之津，終於轉危為安。
東漢元初元年（公元114年），漢安帝為防外敵侵犯洛陽，下詔在太行南端36處要衝屯兵。曹操圍臨漳，袁尚輕易率軍東出太行，結