1937年10月31日，謝晉元完成堅守四行倉庫的任務之後，奉命率部撤入租界，旋即被租界當局解除武裝，關入被上海市民稱為“孤軍營”的地方。這個所謂的“孤軍營”，是一塊平時堆積垃圾的坎坷不平的空地，麵積約數十畝，四周圍是鐵絲網。地點在當時的新加坡路40號，由萬國商團的白俄武裝看守。營地共有三道門，在二道門與三道門之間，有一條形似“E”的走廊，廊外有約1909平方米的開闊地，作為防“潛越”的隔離區。租界的外籍軍隊在那裏站崗巡邏，不許謝晉元等八百壯士越出大門一步，所以“孤軍營”實際上是軟禁謝軍的場所。
孤軍剛被送到時，有350人和一麵國旗。為了發揚民族至大至剛的精神和氣節，謝晉元在孤軍營中手書中堂和對聯以明心誌。
中堂文曰：“富貴不能淫，貧賤不能移，威武不能屈。”
對聯為：“養天地正氣，法古今完人。”
日軍曾妄想誘降孤軍，隻要改變番號，即可移駐他地，擴充為師，一律晉級，但孤軍選擇了做堂堂正正的中國人的道路。
孤軍駐於租界，武裝悉被解除，是“孤島”中的“孤島”，為了改善官兵的工作生活環境，謝晉元帶領戰士們平整場地，自蓋營房，建起了禮堂、宿舍、廚房和籃球場、排球場和足球場。
他們給養無著，生活困難，謝晉元就作出了生產自救的決策，以勞動謀生存，不做“階下囚”求乞。他們自己製作各種手工業品，諸如竹器、肥皂、毛巾、襪子等等，產品統以“孤軍”為商標，深為各界愛國人士所珍愛，他們即以出售這些產品所獲的微薄收入，作為部隊的唯一財源。到1940年，孤軍已為抗戰捐款數千元。
謝晉元為能辦起這些小作坊，甚覺欣慰，曾對全體官兵訓話言明，待抗戰勝利後，這些作坊就是你們成家立業的基石，要子子孫孫辦下去，這不僅是產業，而且是富有曆史意義的孤軍奮鬥之地。
謝晉元還非常重視培養孤軍的文化素質。他說：“凡一切事業，均由學問為出發點。沒有學問，無論很好很簡單的事，都做不好，而且會做壞。”孤軍營為此開辦了算術、常識、曆史、地理等學科。
第88師524團團副謝晉元在謝晉元的日記中，清楚地記錄著孤軍營的作息時間：
起床：4時30分
早操：5時至7時
萬國商團白俄隊檢查人數：8時
早餐：9時
上課：10時至11時30分
晚餐：16時
拳術或唱歌：17時至19時
自由休息：19時30分至20時；
就寢：21時
在這裏，愛國教育是謝晉元帶領孤軍營裏每天的必修課。在不許升旗的禁令下，謝晉元仍每天帶領孤軍舉行“精神升旗”，即遙望旗杆頂，行舉手禮，喊“中華民族萬歲”的口號等。
1938年8月，為紀念“八·一一”出師和“八·一三”抗戰雙周年，謝晉元與租界工部局再三交涉要在營內升國旗。開始工部局總辦和“萬國商團”團長表示同意，並送來旗杆。待旗杆豎起後，租界當局又派人通知不準懸旗，恐日軍發現，對工部局不利。經協商，同意將旗杆截短，使旗杆高度低於營房。
8月11日上午6時，謝晉元帶領他的壯士們舉行升旗典禮，全體孤軍看著淩空飄揚的國旗，歡欣鼓舞。正當謝晉元要在紀念儀式上訓話時，白俄隊長竟前來要求將國旗降下。謝晉元理所當然拒絕了。謝晉元說：“我們是中國軍人，在中國的土地上，懸掛自己的國旗，為什麼不可以？！”
10時，租界工部局派1000多英格蘭、意大利和白俄士兵，圍攻孤軍營。謝晉元命令第1連守瞭望台，第2連在操場散開，第3連守衛營門，第4連保衛國旗。孤軍赤手空拳與白俄肉搏，4人被砍重傷，不久犧牲，100餘人受傷。之後，白俄將謝晉元等軍官與戰士分開，押往外灘中央銀行大樓軟禁。麵對暴行，謝晉元即令全體孤軍絕食抗議，並致書工部局進行質問。上海市民聽到這個消息，連日抗議罷市。後來經過民眾團體的再三交涉，工部局被迫讓步，允許今後紀念日可掛國旗，但旗杆被截去一節。