道教是土生土長的本土宗教，東漢順帝時（126—144），張道陵以老子為教主所創，由其時的太平道、五鬥米教發展而來，魏晉北朝上層道教形成並得到統治者承認。隋唐五代時，太原佛道兩教同時流行。就道教信仰而言，中原民族和周邊民族的差別很大。中原民族把道教方術和得道成仙聯係在一起，而周邊民族對之卻真誠崇拜，如李淵父子起兵時，曾向突厥借兵，突厥兵到晉陽，見老君真容皆拜，可見道教在北邊胡地的滲透。唐太宗時追認老子為先人，所謂天機神授，對李唐政權大加神化，並在各地興建道觀，史籍記載太原這時有興唐觀等建築，龍山之巔的昊天觀據說也始建於這一時期。 北宋時，太宗、真宗、徽宗皆崇尚道教，道教文化在民間有相當影響。元代對宗教寬容，全真教首領丘處機受成吉思汗之命掌管天下道教，全真教盛極一時。
現太原市西南有始於唐以來開鑿的道教龍山石窟，是我國現存為數不多的道教石窟中最大的一處，為研究我國道教史，特別是全真教發展史提供了珍貴的實物資料。據載，丘處機弟子宋德芳（道號披雲子）於元太宗六年（1234）雲遊至太原，發現這裏山川形勝，是一塊風水寶地，遂於龍山之巔複修昊天觀，在東側續開道窟5龕。到明代，又續開1窟，形成現今規模，共三層8個道窟。其中第4、5窟又稱古洞，約鑿於唐高宗至唐玄宗時期（650—755），帶有明顯的摹仿佛窟的痕跡，第1—3，6—8窟，建於蒙古窩闊台統治時期的1234—1239年，雕鑿具有北方的粗獷強悍之風格，總體藝術風格與佛教石窟迥然不同，是元代全真道教所存的唯一石窟。
元末迄於清代，道教在太原民間影響日深，道教宮觀遍及全市。太原的純陽宮，現存有4處，其中規模最大、保存完好的當推位於五一廣場西北角的純陽宮。由於道觀所奉神祇眾多，道觀名稱也各異。太原地區現存主要有玉皇廟、真武廟、三清觀、三官廟、文昌宮、卿雲觀等。