這使沈從文的自尊心受到了極大傷害，心裏充滿了屈辱。他忍下滿心氣憤，一聲不響走開了。
文人有文人出氣的方法，事後，沈從文立即又寫下了《棉鞋》這篇小說，實敘了這件事的始末。
小說《棉鞋》發表以後，進一步激化了沈從文與肖世欽的矛盾。肖世欽把他叫去，當麵大罵了一頓，還多次威脅恐嚇沈從文。《第二個狒狒》裏的兩個“小玩物”也認為沈從文侮辱了他們的人格尊嚴，在背地裏“運動”熊希齡，想對沈從文進行報複。
雖然熊希齡此時根本沒有要處置沈從文的意思，照樣把他當做晚輩來關心，但敏感而自尊的沈從文似乎預感到危機已一步一步向他逼來，他更無法忍受肖世欽對他的侮辱與傷害，也無法用自己的人格獨立來繼續換取熊希齡對他的“恩惠”。他終於無法在香山待下去了。
沈從文沒有跟慈幼院任何人打招呼，也沒有向熊希齡告別，挾了自己從山下帶來的一小網籃破書，獨自跑到靜宜園門口，雇了頭小毛驢，下了香山，又住進了“窄而黴小齋”。
1980年6月，沈從文接受美國學者金介甫采訪，金介甫專門問及他為什麼會突然離開香山，跟熊希齡不辭而別。沈從文說是為了取得獨立，“也為了其他一些原因”。1981年4月11日，沈從文在《湘江文藝》座談會上的講話中也說：“我有機會到熊希齡身邊去做事情，那是我們中國的一位總理了，又是我的親戚，他對我很好的。我自己偷偷跑了，離開了……我自己隻想寫小說，而且隻想獨立寫小說。”
其實沈從文在《給璿若》一詩中透露了他離開香山和熊希齡的真正原因：
難道是怕別人“施恩”，
自己就甘做了一朵孤雲。
獨飄浮於這冷酷的人群？
竟不理旁人的憂慮與掛念，
一任他慪氣或狂癲。
——為的是保持了自己的尊嚴！
他是為了保持自己的尊嚴和人格獨立，拒絕了作為同鄉加親戚的熊希齡的“施恩”。他之所以在自己處境最艱難的時候，寧願忍饑挨餓也不去向熊希齡求助“乞憐”，就是為了要取得自己支配自己的自由。
這就是沈從文，一個古怪而又倔強的“鄉下人”。
拒絕了熊希齡“施恩”的沈從文，靠著天才與勤奮，成了一代文豪。
成名後的沈從文，後來多次到熊希齡的北京香山慈幼院講課，同時也對晚年積極投身抗日、毀家紓難、愛國愛民的熊希齡多了一份熱愛和尊敬。
在熊希齡逝世10周年紀念日，沈從文專門寫了兩篇文章，即《芷江縣的熊公館》和《新黨中一個湖南鄉下人和一個湖南人的朋友》，分別發表在1948年1月3日天津的《大公報》和1948年2月21日北京的《益世報》上，紀念和緬懷熊希齡這位著名的社會活動家和愛國慈善家。
然而，誰也沒有想到，就是這兩篇紀念熊希齡的文章，對沈從文的命運產生了巨大的影響，從某種意義上說，甚至改變了沈從文後半生的命運，這是後話。