書中還有一個人物是旅館裏的老鴇，年輕時當妓女招待過無數恩客，記得旅館裏的每一個客人。“她見過、聽過太多這個旅館全盛時期進住然後搬走的那些鬼魂幽靈的幻異故事了，她變成了這座旅館的回憶。所以她說起故事來像是失去了‘房客離開房間便是永遠離開了’的時空認知。後來住進來的故事，無法把原先占據房間的故事趕走，永遠不會讓它有空出來的舊空間，這也是這間旅店像蜂巢一般持續長大的原因。它被它吞食的故事撐著脹著。”旅館成了一個像大腦一樣承載記憶的空間。這就是《西夏旅館》的結構，繁複而飽滿，很難用簡單語言概括它的內容。書的最後一部分“圖尼克造字”寫得有趣，用了很多西夏文字，每一字下寫一段故事，仿佛要去解讀這些字的真實意義。但那意義其實是非常可疑的，因為西夏文字本來就是西夏王朝的建國者李元昊突發奇想，命令丞相硬生生造出來的。
當年李元昊首創的蕃學院裏有一個陷於造字苦思困境的老學者，他說：“世界那麼大，我替皇上造出來的字，根本覆蓋不住那每天滋生冒出的新事物。比如就以新發明的殺人方式來說吧；就以遙遠的海邊那些我們不曾見過的名目繁多的魚類來說吧；就以男人的嫉妒，女人的嫉妒，老人的嫉妒，帝王的嫉妒，對才華高於己者之嫉妒，對交際美貌者之嫉妒，對財富之嫉妒，對青春之嫉妒來說吧。這些不同的字，漢字裏麵都沒有，我該如何從虛空裏麵亂撈亂抓來發明呢？”
駱以軍從造字的困擾說到台灣外省人的心境，老學者無法為文字命名，他們也無法為自己命名，他們是一群脫漢入胡的可憐鬼。“這是一個新人類巨大工程中的故障品、怪物或作為比對基因學的抗原在試驗後的拋棄物，被稱為他們的我們，威脅了稱為我們的他們的自我製造工程。”這些外省人覺得自己是被廢棄的實驗品，他們無法融入這個小島，他們弄不清自己是誰，他們的殘片的記憶、凋零的故事、斷裂的曆史，大概是中國曆史上每一代王朝遺民共同麵對的東西。
其實很多台灣作家都喜歡談這種遺民心事，駱以軍的獨特在於他不會把這些狀態寫成靜態的哀傷，相反，他寫得非常狂暴。他似乎想告訴大家，台灣外省人一切的失落、遺棄都是他們咎由自取。他們本來就是一群活該要滅絕的物種，像西夏王朝最後一隊騎兵不斷逃亡，卻又把救濟過他們的村莊屠戮一番；他們越來越不像人，退化成野獸，或者說進化成更原始、更本能的物種。
他用黏稠、華麗而又委靡的語言去描寫這個王朝中的暴力與性。有一章“殺妻者”寫道：“他見異思遷，喜新厭舊，遺棄、嫉妒。麵對被遺棄者，歇斯底裏，而心虛佯怒，乃至於暴力相向，因嫉妒而起的謀殺，造謠，借刀殺人。對情敵一家的滅門血案，淫人妻女，殺了最忠實的哥們，然後上他嬌滴滴的老婆，也就是你該稱呼她當嫂子的那個。殺掉情敵，還有他的兒子。上了自己兒子的女人，你該稱呼她媳婦的那個，或是送自己的妹妹上哥們的床，懷上他的野種，好整個謀奪掉他全部的家產。林林總總，眼花繚亂，應有盡有，簡直可以開一間敗德愛情故事博物館。”
這段話講的就是西夏的建國者李元昊。李元昊娶的七個老婆全被他殺死。第一任衛慕氏是他母親家族的女子，後來他懷疑這個家族想奪權，於是誅滅整族人，甚至毒殺了自己的生身之母。想象這樣的畫麵：“他的阿姨們，渾身是血地躲進他母親的帳幕，掩麵哭泣著：‘你那頭小狼，那個從小我們替他洗澡，玩弄他小雞雞的男孩，帶著人，提著刀，把外頭殺得一片血海。’”他殺掉這些人之後，又覺得他跟老婆生下來的兒子也是那個陰謀叛亂的族群留下來的孽種，於是把兒子也殺了。
他對待他愛過的女人永遠是：“殺殺殺，殺光那些曾經歡愛銷魂的女體，那些握在掌心的白色乳房，用勁的時候，她們會發出難辨是恐懼、歡爽，或單純是疼痛的哀鳴。”