1911年，吳石與少年好友吳仲禧一道參加福建北伐學生軍，參加辛亥革命。
他在武昌預備軍官學校和保定軍官學校前後受業4年，與白崇禧為同期同學，後至日本深造，學習軍事。
學成回國任國民黨陸軍大學教官，其政治背景屬於國民黨“桂係”。
1940年初，吳石重見相隔20餘年的老友吳仲禧，當時吳仲禧在韶關任國民黨第四戰區長官部軍務處處長和韶關警備司令。並已於1937年盧溝橋事變前夕秘密加入中國共產黨。
在抗戰的幾年裏，吳石經常流露出一種憤懣、失望的情緒。
一方麵，他想在抗日戰爭中紮紮實實地做一些事情，渴望自己在軍事上能學有所用、用有所成；另一方麵，他又逐漸看透了國民黨內部的腐敗，官場的勾心鬥角，意識到自己無論怎樣努力都無法改變這個局麵。
吳仲禧回憶說：“吳石對共產黨人是有好感的。他讀過毛澤東的《論持久戰》等軍事著作，在武漢珞珈山聽過周恩來的演講，還同葉劍英等人有過交往。”
1948年6月，淮海戰役前夕，吳仲禧改任國防部中將部員，被派往“徐州剿匪總指揮部”服務。
吳仲禧到南京後見到吳石，吳石親筆寫了一封信給他的學生、“徐州剿總”參謀長李樹正，說吳仲禧是他多年的摯友，請李多加關照，給予方便。
李見了吳石的信，對吳仲禧格外客氣，親自帶他到總部的機要室看作戰地圖。
吳仲禧暗中把主要部署記錄下來。為把情報盡快送出，他托病回南京就醫，趕到上海把上述情報向上海地下黨組織負責人潘漢年作了報告。
1948年9月至1949年1月，中國人民解放軍揮師逼近南京。稍前，國民黨國防部尚保存有500箱重要軍事機要檔案資料，國防部長白崇禧、參謀總長陳誠主張直運台灣，而吳石則以福州“進則返京容易，退則轉台便捷”為理由，建議暫移福州。
國民黨當局采納了他的意見。吳石之所以要將這批機要檔案轉移到福州，是他知道自己將出任福州綏靖公署副主任。
他打算一旦時機成熟就在福州起義，將這批軍事機要檔案獻給中國人民解放軍。
5月，台灣的國民黨當局又電促速將檔案運台。吳石則以“軍運緊，調船難”為借口，僅以百餘箱參考資料、軍事圖書權充絕密檔案，列為第一批，派人先運台灣。
緊接著，吳石又下達“死命令”，當晚將檔案全部轉移到位於倉前山的福建省研究院書庫匿藏，並向研究院院長黃覺民(黃是吳的摯友、民主人士)作好交代。
1949年7月，吳石由福州經廣州輾轉到香港找到吳仲禧，吳石說他已被調任國民黨“國防部參謀次長”，要到台灣去，他堅定地表示，自己的決心已經下得太晚了，為人民做的事太少，現在既然還有機會，個人風險算不了什麼。
8月14日，吳石接蔣介石急電令即日赴台。
15日上午，他密召親信參謀王強到公館，作了簡要而嚴肅的麵示：“我奉命明天即飛台北，這裏的事情就交給你了，你要盡到軍人天職，‘人在檔案在’。下一步怎麼辦，想必你自己懂得。為萬無一失，可征求黃院長和劉通先生(原國民黨立法院立法委員)意見而行。”