送走了啟民可汗和義成公主，隋煬帝沒有回長安，而是走太原，繞道東都，到了洛陽的時候，已經是九月。一到洛陽，就宣布齊王楊暕改任河南尹、開府儀同三司，原來太子楊昭的二萬多人也劃歸楊暕，獨狐篡交了兵權，還是回長安負責軍工，李渾以右驍衛將軍領太子宗衛率。
楊崇也被兵部派回長安，兵部尚書段文振和兵部侍郎明雅隨楊廣在外，長安和洛陽的兵部如同擺設。兵部共設有十位主事，其中兵部主事四人，職方主事二人，駕部主事二人，庫部主事二人；在洛陽由庫部侍郎裴弘策負責，兵部、職方、駕部、庫部還各留主事一人，而長安隻有兵部主事元無竭一人，負責整個兵部的運作。
楊崇以兵部主事的身份回去，排在元無竭之後，隻是為了堵住某些人的嘴，表示兵部還是重視長安的；實際上，兵部尚書段文振說得很清楚，楊崇回長安隻要做兩件事，一是盡可能整理西域的情報，二是再琢磨些裝備。楊崇意外地是，自己離開洛陽的時候，在城門口除了宇文愷和工部尚書衛玄，柱國大將軍麥鐵杖竟然也跑來給自己送行。
麥鐵杖是始興人，勇猛而有膂力，少年時能日行五百裏，據說跑起來可以趕上奔馬，為人粗獷放蕩且好酒，喜歡結交朋友；做賊被南陳廣州刺史歐陽頠俘獲後，麥鐵杖淪為朝廷的奴仆，專給陳後主撐傘。隋滅陳後，麥鐵杖轉入大將軍楊素軍中，屢立戰功，開皇十六年征召為車騎將軍；隋煬帝即位，麥鐵杖征討漢王楊諒有功，任柱國大將軍。
楊崇和麥鐵杖在榆林城就是舊識，但是並不是很熟，麥鐵杖扇動著巨掌，拍在楊崇肩上說：“好小子，在榆林做得不錯，回到長安小心一點，你現在可是別人的眼中釘。”
楊崇忍著疼痛，咧咧嘴說道：“麥將軍，輕一點。多謝你的好意，隻是聖意難違。”
衛玄聽出楊崇的那一絲無奈。榆林城發生的事情所有人都清楚，楊崇的做法平息了一場政治風波，隋煬帝楊廣高興之餘，也沒有追究對手；但是蘇威等人依舊認為，如果沒有楊崇的節外生枝，他們會讓宇文化及兄弟丟掉腦袋，甚至能讓宇文述丟官罷職，逼迫隋煬帝楊廣在政治角逐中作出讓步。
這種差異同樣在定向貿易這件事上，與咄吉世的貿易對中樞有利，但實際上是搶走了士族和咄吉世之間的走私生意，也正是因為這個原因，在中樞內外的壓力下，隋煬帝楊廣和兵部尚書段文振隻好同意調楊崇回長安，讓裴矩負責對塞北的運籌。軍方對此的態度是截然相反，如果楊崇操作，十六衛的將領們多多少少都分點利，在裴矩的手上，連段文振和明雅都是憂心忡忡，麥鐵杖來送楊崇，就是軍方發出的一個不滿信號。
麥鐵杖分明聽懂了楊崇的潛台詞，哈哈大笑；宇文愷在大眾之下，反倒沒有多說話，隻是禮節性地拱拱手，楊崇在洛陽住在宇文愷家，師兄弟要說的話要做的安排早就商議好。楊崇和眾人行完禮，翻身上馬，隨換防的禁衛軍奔騰西去，這幾個月在兵部，楊崇唯一進步迅速的就是騎馬技術，基本上能跟上大隊的行動。
到達長安，楊崇到留守的尚書台報了個備，請了五天假，連兵部都沒去，就很幹脆地回家了；楊崇的打算很簡單，先歇個幾天再說。楊崇到家才知道楊六和楊九在崔家作坊幫忙，到現在也沒回來；楊三、楊四、楊七、楊十在鐵匠鋪幹得不錯，韋隆已經開始教他們武功；楊一、楊二、楊五、楊八被安排到宇文作坊學木匠和雜藝，韋橫在那裏盯著。