柔然最鼎盛時期在約公元410年—425年，其勢遍及大漠南北：北達貝加爾湖畔，南抵陰山北麓，東北到大興安嶺，與地豆於相接，東南與西拉木倫河的庫莫奚及契丹為鄰，西邊遠及準噶爾盆地和伊犁河流域，並曾進入塔裏木盆地，使天山南麓諸國服屬。
柔然所統轄的姓氏共有60餘種，其中屬於柔然的民族、部落有包姓鬱久閭氏、俟呂鄰氏、爾綿氏、約突鄰部、阿伏幹氏、紇奚部、胏渥氏；屬東胡鮮卑的有拓跋氏、丘敦氏、無盧真氏、樹格幹氏、尉遲氏、穀渾氏、匹婁氏、勿地延氏、莫那婁氏、叱豆渾氏、庫褥官氏、溫盆氏、樹黎氏、烏氏（烏洛侯）；屬於敕勒的有乙旃氏、斛律氏、副伏羅氏（部）、達布幹氏、屋引氏、他莫孤氏、奇斤氏、泣伏利氏以及東部高車等；屬於匈奴餘部的有拔也稽部（一說屬敕勒）、賀術也骨部、烏洛蘭氏；屬於突厥的有阿史那氏；屬於西域諸胡的有龍氏、高氏（一說為漢人）、希利垔、邢基祗羅回、侯醫垔等。此外，柔然內部還有一些漢人。
柔然統治者的世襲貴族是從拓跋鮮卑部落聯盟中分離出來的，但後來隨著柔然勢力在大漠南北的發展，與進入中原地區的拓跋鮮卑分道揚鑣，出現的差異也越來越大。
柔然在阿那瓌可汗時，曾一度複興。然不久，爆發被奴役的部落和奴隸的反抗鬥爭。至6世紀中葉，居住在今阿爾泰山南麓的原柔然鍛工——突厥部日益強大。552年（北齊天保三年），突厥首領土門（伊利可汗）因求婚於阿那瓌被拒絕，聯合高車，發兵擊柔然，阿那瓌兵敗自殺。柔然王室庵羅辰等逃至北齊，而留在漠北的亦分成東西兩部分：東部餘眾立鐵伐為主；西部餘眾則擁立鄧叔子為主。東部柔然複為突厥擊敗投奔北齊，被安置於馬邑川（今山西省朔縣）一帶。次年，庵羅辰等叛北齊返回漠北。經北齊追擊，東部柔然基本上為之瓦解，庵羅辰下落不明。555年（北齊天保六年），突厥木杆可汗俟斤率軍擊潰西部柔然，鄧叔子領餘眾數千投奔西魏。西魏雖優遇鄧叔子，“給前後部羽葆鼓吹，賜雜彩六千段”，但在突厥使者一再威逼下，遂將鄧叔子以下3000餘人交與突厥使者，慘殺之於長安青門外，中男以下免，並配王公家。柔然汗國滅亡，餘眾輾轉西遷。有的學者認為拜占庭曆史上的阿瓦爾（阿哇爾）人，即是被突厥滅亡後西遷的柔然人。而留在漠北的柔然餘眾逐漸融合於突厥、契丹部落之中。
為了削弱、分化柔然政權本身，以減少來自北邊的威脅，朝廷極盡拉攏之能事。遷居內地的柔然人，通過雜居共處，互相通婚等各種途徑，大多先融合於鮮卑，最終被同化於中原漢族之中。
柔然被契丹與漢族朝廷的打壓，已經不複當年了。胡一山帶著蕭豔飛兒亡命天涯，卻也多次被契丹追殺，隻得帶著她來到了上黨躲藏，但也沒能逃得了性命。
這一切，卻是因為一把赤霄劍。