為了對上述地區實行有效管轄，唐王朝通過設置州縣，建立都護府、都督府及羈縻州縣，構建了高效管理的行政體係，與之相聯係；通過設立軍、守捉、城、鎮等，又建立起軍事體係。行政、軍事兩大係統既是合一的，又各有側重，形成完備的管理體製。具體而言，唐對西域管理的實施與加強，都是通過安西、北庭兩個大都護府的建置而確立起來的。
安西大都護府的建立過程，《唐會要》卷七十三安西都護府條有詳細記載：
貞觀十四年九月二十二日，侯君集平高昌國，於西州置安西都護府，治交河城。二十二年四月二十五曰，突厥泥伏沙涉缽羅葉護，阿史那賀魯率眾內附，置於庭州。二十三年二月十一日，置瑤池都督府，安西都護府，以賀魯為都督。至永徽二年正月二十五曰，賀魯以府叛，自稱缽羅可汗，據有西域之地，至四年三月十三日，廢瑤池都督府。顯慶二年十一月，伊西道行軍總管蘇定方，大破賀魯於金牙山，盡收其所據之地，西域悉平。至三年五月二日，移安西都護府於龜茲國，舊安西複為西州都督，以曲智湛為之，以統高昌故地。
安西大都護府管轄天山南路及蔥嶺以西，阿姆河以南，波斯以東的廣大地區，下轄20個都督府。其中，蔥嶺以東有焉耆、龜茲、疏勒、毗沙（於闐）4個都督府，此即“安西四鎮”，四鎮下轄34個州；蔥嶺以西有十六個都督府，史稱：“龍朔元年（661)，以隴州南由令王名遠為吐火羅道置州縣使，自於闐以西，波斯以東，凡十六國，以其王都為都督府，以其屬部為州縣。凡州八十八，縣百一十，軍、府百二十六。”這十六府為月氏、大汗、條支、天馬、高附、修鮮、寫鳳、悅般州、奇沙州、姑墨州、旅獒州、昆墟州、至拔州、鳥飛州、王庭州、波斯州都督府。上述20個都督府中，蔥嶺以西的16個都督府，均設於前述阿姆河以南16個國家的都城，各府之下設有州縣，計有88州110縣，126個軍府。
北庭大都護府設置晚於安西大都護府，也是從安西都護府所分出。657年唐王朝平定西突厥阿史那賀魯，統一西域後，在其故地設立蒙池、昆陵兩個都護府，冊立突厥首領阿史那彌射為興昔亡可汗，兼右衛大將軍、昆陵都護，管理碎葉川以東的咄陸五姓部落；冊立彌射之弟阿史那步真為繼往絕可汗，兼右衛大將軍蒙池都護，管理碎葉川以西的駑失畢五姓部落。第二年，安西都護府升為大都護府並移治龜茲後，顯慶四年(659)，為管理天山以北的西突厥故地，唐朝設置金山都護府，治庭州，管轄天山以北、巴爾嗜什湖以南、金山以西、兩河流域以東的廣大地區，隸屬於安西大都護府。武則天長安二年（702)，在庭州置北庭都護府，取代金山都護府，管理西突厥故地，統轄西突厥十姓部落諸羈縻府州，仍隸屬於安西大都護府。唐睿宗景雲二年（711)，將北庭都護府從安西大都護府分出，並升為北庭大都護府，由此形成與安西大都護府分治天山南北的管理格局。
北庭大都護府管轄天山北路包括楚河以西至裏海以北的廣大地區，下設昆陵、蒙池兩個都護府和23個都督府、五弩失畢部5部。其中，昆陵都護府管轄楚河以東地區，所轄匍延、鹽泊、雙河、鷹婆、嗯鹿州、潔山6個都督府，設在西突厥五咄陸部故地，約當今天山以北，白楊河以西，巴爾嗜什湖以南，楚河以東地區。在天山北路東部還有陰山、大漠州、玄池州、金附州、輪台州、金滿州、憑洛州、沙陀州、咽麵州、鹽祿州、哥係州、孤舒州、西鹽州、東鹽州、叱勒州、迦瑟州、答爛州17個都督府。蒙池都護府管轄楚河以西至裏海以北地區，轄阿悉結闕部、哥舒闕部、拔塞幹礅沙缽部、阿悉結泥孰部、哥舒處半部5部，這5部倶為西突厥五弩失畢部故地。
都護府作為唐王朝在西域的最高軍事、行政機關，它有完整的機構建置和明確的職能分工。大都護府設有大都護一人，從二品，官階僅次於三公，與尚書仆射同列，足見朝廷對西域事務的高度重視。玄宗時大都護通常委派宗王遙領其職。大都護的職責是招撫安置歸附的各部族，維護轄區的社會秩序；管理所屬官員並考察政績，論功行賞或量罪處罰；防禦外來軍事寇擾，保護轄區安全。大都護以下官員有副大都護二人，副都護二人。都護府直屬機關的官員有長史、司馬、錄事、參軍各一人，錄事二人，還有功、倉、戶、兵、法等各曹參軍事各一人，主管機關日常事務及民政、賦稅、軍事、司法、人事、文秘等工作。