“當兵6年中我眼看上萬無辜平民被殺，除了對被殺的和殺人的留下個愚蠢和殘忍的印象，什麼都學不到！你可想得到，一個機關300個職員有150個是‘煙槍’，是個什麼光景？我實在待不下去了，才跑出來！我想讀點書，半工半讀，讀好書去救救國家。這個國家這麼下去實在要不得！”
聽沈從文這麼一說，熊希齡不由自主地重新打量起眼前這位年輕同鄉來，連聲說：“好，好，年輕人就要有這種膽識，北京也歡迎有膽識的青年！”
沈從文在香山過了一段衣食無憂的“好日子”之後，在感謝熊希齡的同時，慢慢覺得自己和熊府及其香山慈幼院的上層人物格格不入，總感覺到自己是在接受熊希齡的“施恩”，與他當初“想要獨立”而來北京的初衷相悖。雖然熊希齡並沒有認為接收他是出於恩典的意思，雖然熊希齡照樣關照他，經常找他長談，但沈從文的心裏還是有了一層疙瘩，總覺得和熊希齡之間有一層隔膜無法消除。特別是沈從文對熊希齡及其周圍一些人生活的上層圈子，總懷有一種混合著自卑與自尊、企羨與不滿的複雜情緒。
正是在這種情緒的支配下，沈從文用略帶輕侮和憤激的筆調，寫下了《用A字記下來的事》這篇小說，專門描繪熊希齡55歲壽辰的盛大壽宴，感到自己是一個“不重要的自己跑來湊趣的客，壽麵、壽酒是搭到別人得一份——就是特為我預備一份，要我用五點鍾以上的難堪去換取”。
這僅僅是開始，真正導致沈從文不辭而別離開香山的原因是：他在《晨報副刊》上發表的兩篇有關香山慈幼院的小說《第二個狒狒》和《棉鞋》。
香山慈幼院當時由曾留學日本的肖世欽（漢三）任教育股主任。肖世欽是個勢利之徒，對上極盡巴結之能事，對下則頤指氣使、作威作福。日偽時期，他當上了河北省偽省府教育局長，做了文化漢奸。因不滿於他的為人，出於義憤，沈從文在《第二個狒狒》裏，專為他畫像，並連帶譏諷了慈幼院十八般武器俱全的“武庫窯”。
在文章中，主人公敘及自己和這“第二個狒狒”一道在香山看戲，走進劇場發現正中一個座位空著，就走過去坐下了，而“第二個狒狒”則隻揀後麵的座位——他不敢趨前，因為他知道前麵的座位是留給“老爺”的。晚上9點，“老爺”果然引了兩個“小玩物”到前排來了，專門留著的空座上“即刻就填上了兩個奇麗肉體”。
同時，他還寫下了諸如“他們度日諸事亨通\/他們的奶桶充滿\/他們的骨髓滋潤\/小孩子出去多如羊群”這樣針對香山上層人物和熊希齡之流的詩句。
小說和詩歌在《晨報副刊》上發表後，立即激怒和得罪了肖世欽和香山慈幼院的部分上層管理人員。肖世欽把沈從文召去，狠狠地教訓了一頓，並威脅說有人要給他更難堪的處置。
訓完了沈從文，肖世欽用手杖指著沈從文腳上的舊棉鞋，惡狠狠地說：“哼，原來是沈從文。你這鞋子？”
“鞋底爛了，沒有錢買新的，所以沒有換的。”
手杖第二次敲到沈從文腳麵上：“你看，你看，這成什麼樣子？！”