行省一詞起源於金。由於戰爭的需要，金設行尚書省以管轄地方政務。元入主中原後，元世祖始設中書省，後又在各地設置行中書省，作為中書省的派出機構。此後，行中書省掌管地方軍政要務，成為固定的地方行政機構。
行省製度是一套完備的政務管理係統。在中央，由中書省料理全國政務，樞密院掌管軍事，禦史台負責監察；而在地方，則由行中書省最高長官丞相掌管全省軍政大事。元朝在全國共設10個行省，即嶺北、遼陽、河南江北、陝西、四川、甘肅、雲南、江浙省、江西、湖廣。而山東、山西、河北和內蒙古等地則稱為“腹裏”，由中書省直轄。每個行省下又設路、府、州、縣。
行省製的確立，使中央集權在行政體製方麵得到保證，從此，地方政治製度跨入劃省而治的新階段。省作為地方一級行政區的名稱，至今仍被使用。