楊廣做太子三個月後，亦即公元60 1年正月，大隋改年號為“仁壽”。
經過一番大清洗，朝廷上下換了許多官員，地方各州郡也有不少人升降。房玄齡隻是這次人事大調整過程中的一分子，因為他也曾是東宮的屬官，所以被貶至西河郡的隰城任城尉，從九品。
第二年，獨孤皇後病逝，隋文帝也因龍體欠安而疏於朝政，楊廣與他的一夥黨羽便加緊搶班奪權了。
隰城就是今天的山西隰縣，位於黃河與汾河之間的平緩丘陵地帶。城尉之職負責執掌一縣之軍事，僅為從九品。由正九品朝官放逐為地方小吏，又是在遠離京師五百裏以外，人生地不熟，房玄齡的心情可想而知了。
初來的幾日，房玄齡失魂落魄，百無聊賴，幾案上攤著一本軍府花名冊，卻也無心查看。軍曹們前來拜見守尉官，他也魂不守舍。
縣令姓雲，乃是朝臣雲定興的侄子，亦即廢太子楊勇愛妾雲昭訓的堂兄。見房玄齡整日愁眉不展，雲縣令便笑著說：“房縣尉不知，本縣也是被人家從京城裏放出來的，有什麼可鬱悶的呢？此處西南不算太遠，便是天下黃河一壺收的壺口。改日得了空閑，本縣陪你去那兒視察防務。”
這日天色晴好，雲縣令委托縣丞坐衙看家，自己帶著房玄齡及戶、功、田、兵、法諸曹佐屬一行騎上馬，渡過昕水南去。一路上，雲縣令在馬上談笑風生，指點山川林木，介紹風土民情。原來他是個性情豪爽的人。行至文城便有一間酒肆，雲縣令叫了些酒菜來，眾人猜拳快活一番，微醺方起身再行。
臨近壺口之時，已是半下午光景，但聞隆隆濤聲轟鳴，由遠而近，那浩浩蕩蕩的黃河自峽穀流來，到這裏竟倏然不見，消失之處，一條彩虹騰起在半空裏。見房玄齡一副神馳心醉的樣子，雲縣令笑著問道：
“房公想必是第一次來我隰城地界的罷？別看這裏山窮水惡，卻也別有一番幹淨？大興城本縣也曾混過幾年，早就聽說過你父子大名。嘁！慢說是如今的大興城，便是秦朝的阿房宮，也比不得咱這兒的一派勝景天籟。你在京師，即使是做到三品相國，不也得仰人鼻息麼？你與本縣在這裏，便如閑雲野鶴一般，強似天皇老子！”
房玄齡隻當他是酒後放言，也不甚理會，信馬走到壺口瀑布近旁，竟被眼前的壯景驚得目瞪口呆。但見那橫溢山川的大河，挾風攜雷滾滾而來，卻突然在這裏沉落下去，仿佛壺口底下便是通往地下龍宮的入口。濁流激蕩，喧聲震耳，翻起的浪花化為蒸蒸紫氣，彌漫天宇，一條彩虹淩空飛架。自壺口以下，河床陡然降落，河水在跌落之前仿佛有一個跳躍，然後才彙集到那狹小的壺口裏。然而那河水並不像受了刑罰，縱身跳躍之前竟似十分奮勇的樣子，歡騰咆哮，一往無前。
房玄齡興奮不已，隨口吟出一首七絕送與雲縣令。詩曰：
九彎黃河一壺收，千載詩吟萬古流。
雲蒸虎嘯極氣度，令人亂世且埋頭。
雲縣令大喜，回程途中至文城，複入那家酒肆，喊來筆墨紙硯，求房玄齡書了。雲縣令見他一手龍蛇飛舞一般的草書，越發喜不自勝，當即步房玄齡原韻和了一首回贈。詩曰：
看盡山川一望收，誰雲鄉野不風流。
今朝猶獲房公誼，何慮蓬蒿掩白頭？
諸曹屬中也有懂得些詩文的秀才，便說房縣尉詩意沉鬱大度，雲縣令恢弘灑脫，真個是流星飛月，各有千秋。於是再度擺酒，以誌慶賀。雲縣令卻自謙道：
“本縣豈敢跟房公相比？本縣在京師曾有耳聞，房公自幼便與薛道衡先生唱和，天下誰不仰慕房公才學？如今得與房公同衙為文武，實在是三生有幸啊！”
遂將房玄齡字幅懸於衙署內，閑來便駐足欣賞，方才發現這首詩原來有藏頭隱喻之妙：四句頭一個字連起來，便是“九千雲令”，乃言雲某九千歲是也！雲縣令自然不敢聲張，隻在心中暗自領受房玄齡的一番美意便是了。自此，雲縣令常與房玄齡詩詞贈和，二人交情日篤。
其時，突厥步迦可汗聞知隋宮有變，便出兵擾邊，卻被隋軍擊退。五月，突厥男女九萬餘口歸降，邊地稍安。六月，新太子楊廣力倡新法，廢太學、四門及州縣學堂，隻留國子生七十人，改國子學為太學。不久，南方資州山僚起事，剛被撫定，潮、成等五州官吏又起事，天下躁動漸起。
雖然官職卑微，房玄齡卻以父親為榜樣，勤勉努力，盡職盡責，常常一連好幾個月都不回家探親。因他自幼聰明，博覽經史，貫通典籍，工於草書和隸書，詩文又作得好，所以深得同僚敬重。身在隰城，心裏卻一直裝著國家大事，每當上司來人，他都問一些朝中和邊疆的情況，與父親書信往來，談的也都是治亂之事。