其實代宗也是知道的，重用宦官內臣隻是權宜之計，因為閹人的學識、心胸均是遠低於正規選拔而出的外臣，而且由於心裏缺陷，很大部分閹人都有心裏和性格缺陷，容易出陰鷙刻薄的小人。東漢因權閹而亡已是血淋淋的前車之鑒。不料，掌握重權之後閹人內臣，經過代宗、德宗、順宗三朝四十多年的經營後，竟逐漸嬗變為控製了大唐最精銳的神策軍兵權的北司閹黨，不但持續打壓南衙外臣集團，讓代宗原先設想的以歸義軍為班底改組南衙外臣後便讓外臣集團重新掌權的設想徹底落空。這其實也是現在南衙北司之爭的由來，實質上是北司和皇權之間的鬥爭。
歸義軍的編成、官職皆依唐製，其作戰部伍編有墨離、赤水、瀚海、靜塞、保大、建康、寧寇、振威、曜武、天山十都，每都依律置左右二廂，每廂置五營，每營置五隊，每隊置五夥，每夥置二伍，每伍遍五人，故歸義軍共有彍騎編製二萬五千人；都設統軍、別將，廂設都尉、果毅，營設校尉、尉副，隊設隊正、隊副，均係各自部曲的正副長官，皆有官品，均入流；夥設火長，伍設伍長，無官品，不入流。
歸義軍的日常辦事機構則是行營，行營置有錄曹、功曹、倉曹、法曹、兵曹、胄曹六曹，各司文牘、敘功、錢糧、法紀、兵刃、甲胄諸職事；都知兵馬使、掌書記是行營正副長官，參軍、隨軍則是六曹的正副長官，其下還設有判官、度支等官職，皆有品入流。
歸義軍還在長安、洛陽兩都，以及各藩鎮秘設留院，專司情報刺探、文牒通傳、暗驛經營，長吏為主官，下設巡官、通傳若幹，亦有品入流。
歸義軍之將校僚佐，下至隊正、隊副，上至行營都知兵馬使、各都統軍，均由押衙擔任，押衙是由天子親自從無甚宗室門閥背景的下品流官中選出，被選中之人皆是正八品以下的少壯文武官員。授予押衙後，尚需觀察及密訓三年，再根據其德行才幹密授歸義軍軍職。
同時，這些押衙大部在朝中還有官職，為了壯大皇權聲勢，天子及歸義軍會暗中擢升各押衙。昨日大明宮病變中中犧牲的同平章事李訓、左金吾大將軍韓約均是押衙。但是左墨離都（墨離都左廂俗稱）及各處留院的將校僚佐，因平日在歸義軍中便有專職，故並未在朝中領有他職。
為了保持隱秘、節流開支，現下歸義軍的彍騎編製大部空缺，但左墨離都之彍騎是滿編，共計一千二百五十人，均是與長安府相鄰的召應縣的良家子弟。左墨離都五營分為五番（即五個梯隊），輪流值守驪宮。
杜慎言聽完白居易講了一大通，對歸義軍已然有大致了解。他隱約感覺到，經過大唐皇室和南衙外臣集團的苦心經營，這個組織已然成為觸角伸向整個帝國的地下朝廷。這樣構造精密、規模宏達的秘密組織，饒是杜慎言之前一直在做神策軍的外值刺探工作，亦是從未聽聞的，也根本無法想象，因此對他產生了極其強烈的心裏衝擊，讓他在一段時間內完全沉浸在感歎人類可動員能力之強大的思緒中。這樣宏大規模組織的構造，需要動用多少人力、物力和財力呐！而且投入這些資源的，還隻是一個被北司閹黨、地方藩鎮長期牽製的皇室及其跟班南衙士人集團！如若整個大唐帝國現下是鐵板一塊，那整個帝國該是一種什麼樣的欣欣向榮、雄踞天下的場景呢......
就在杜慎言還兀自沉浸在自己的天馬行空的思緒中時，腦中毫無預兆且不可思議地出現了一個聲音：“我說杜慎言，你快醒醒，快把這些沒用的想象和感歎收起來吧。當前最緊迫的任務，是找出隱藏在歸義軍中的眼線！而這個眼線，應該就藏在歸義軍的核心層！”