事情果然向著憲立預料的方向發展。為了幫助川島福子盡快恢複健康，川島浪速提議，讓川島芳子到鹿兒島川島福子娘家暫住一個時期。隨後，連組和憲開考進陸軍士官學校就讀，去了東京。最後，川島浪速索性把光子送給了浪人石川良一。在淺間溫泉區“蔦之湯”的川島浪速的住宅裏，隻剩下川島浪速、憲東和一位仆人。年近花甲的川島浪速，日夜麵對仇視他的憲東，承受著難看的尷尬。身邊沒有親人的憲東，日夜忍受著屈辱的折磨。老家夥決定送憲東回旅順上小學，繼續撫養他已經非其所願。
1924年11月5日，馮玉祥將軍派鹿鍾麟部隊進宮，把溥儀趕出了紫禁城，宣布廢除皇帝尊號，皇室優待條例也同時宣告廢除。此時國內外的形勢也發生了變化，各地的“旗地”開始變為“民地”，17世紀清朝入主中原占據的土地一律歸還原主。川島浪速所依賴的肅王爺去世了，他再也不能以善耆的名義向日本政府伸手要錢了。川島浪速變成了無所作為的布衣浪人。他的雙耳開始失聰，最後到了隻能用筆進行談話的地步。他為他瘋狂、自大、無恥、下流的行為付出了高昂的代價。
川島浪速把舊宅賣了，告別淺間溫泉區“蔦之湯”，逃離那所給他留下難堪記憶的住宅。川島浪速在鬆本市天白町租賃一處房舍，準備重新安排自己的生活。川島芳子是川島浪速和善耆一家保持聯係的紐帶，但是被他親手割斷了，現在他需要建立一個新的紐帶。
1925年春，川島浪速把憲章的次女廉鋁接到鬆本，收為養女，廉鋁更名川島廉子。廉子在川島浪速家是川島芳子的妹妹，她倆同為川島浪速的養女，在肅王家川島芳子是川島廉子的姑母。
12歲的川島廉子來到鬆本後，川島浪速在黑姬山買了一塊荒地，在那裏建造名叫玄牝庵的山莊別墅。黑姬山四周景色優美，位於現今的長野縣上水內郡信濃町，附近有野尻湖，池尻川，還有多處溫泉和滑雪場。川島浪速的山莊坐落在一座山丘上，周邊沒有鄰舍。川島浪速的玄牝庵山莊，是他親自設計，並親自搬運木材和石頭建成的。
川島廉子來到鬆本後，川島浪速的性情變得比較溫和了些。廉子與川島浪速在一起生活得很舒暢。每天早晨，廉子要坐禪一個小時，是川島浪速規定的晨練，但是廉子嫌腿疼，隻是坐在那裏而已。每天上午，由家庭教師山崎將忠先生教廉子學習。下午，是廉子的自習時間。傍晚，廉子負責把浴池裏的泉水燒熱。晚飯後，可以看著滿天的星星，泡在浴池裏洗澡。
川島浪速經常寫信給妻子，希望福子能返回鬆本安度晚年。在鹿兒島休養的川島福子，自從有了川島芳子的陪伴，生活完全變了樣，身體也好了起來。她為川島芳子的美貌、成熟、穩重而高興，不斷為養女祈福。當川島福子知道憲東已經回到旅順，她開始憐憫起了丈夫，盤算著等她身體完全康複，重新返回丈夫的身邊。