臨危受命，離開武漢到南京去，開始了紅色特工的革命生涯。
由於蔣介石叛變革命，黨中央即從上海遷移武漢，在漢口召開第五次全國代表大會。會議總結了“四·一二”反革命政變，蔣介石大肆屠殺共產黨人的慘痛教訓，充分分析了今後的革命形勢。會議認為，與強大的敵人作鬥爭，必須了解敵人，了解敵人的軍事、政治活動，知己知彼，才能準確有效地打擊敵人。會議決定，新建立的以情報工作為重點的特務工作處，應站在鬥爭的第一線，根據敵我鬥爭形勢及時獻計獻策，給敵人以有力打擊。
7月15日，汪精衛突然發動反革命政變，許多共產黨人慘遭殺害。在白色恐怖的日子裏，冷少農天天目睹囚車，夜夜耳聞槍聲，多少同誌失蹤、被捕，犧牲。他在食無定時、居無定所的處境中，經受住了物資歷乏、顛沛流離的嚴峻考驗。他在給母親的信中說：“我幹的事情是一種危險的事情，生命保得幾時，自己都不知道，行蹤自然是沒有一定，生活時常動搖。”但他相信，革命者的血是不會白流的，革命的潛在力仍在滋長。在這緊要關頭，周恩來組織召開黨的臨時會議，為了避免遭受突然襲擊，打退敵人的進攻，決定把黨中央機關由漢口遷到上海。這次遷移，為確保黨中央機關的安全，采取了秘密、穩妥的措施。
受黨中央的指示，冷少農離開武漢來到南京，隱瞞身份，設法打入國民黨軍隊內部，開展地下鬥爭，特別是要設法接近何應欽。
深夜的漢口碼頭上，飄著毛毛細雨，讓人惑到一絲絲寒意，冷少農撐著雨傘，提著皮箱登上了運木船。冷少農乘坐這艘裝載木材的商船，乘風破浪，到南京去。
冷少農順利地來到南京後，按照周恩來的指示，以三民中學為依托，以教書作掩護，正式開始了他在隱蔽戰線上為黨和人民工作的光輝曆程。
在學校工作期間，冷少農根據黨的指示，向學生宜傳馬列主義思想，培養和壯大黨的力量，同時尋找關係，想法打入南京國民政府軍政部門，為黨搜集情報。
一個偶然的機會，冷少農在街上遇見一個貴州小老鄉，名叫宋誌強，來南京找他哥哥宋誌成，錢花光了，在街上賣香煙。冷少農通過多方打聽，幫助宋誌強找到了哥哥。宋誌成在軍中任職，是一個比較激進的青年軍官。冷少農與他後來成為好朋友、好同誌。
在尋找宋誌成的過程中，冷少農得知老同學鄭坤也跟隨何應欽來到了南京，並設法和他取得聯係。在鄭坤、宋誌成等貴州老鄉的撮合下，加上冷少農與何應欽本是師生關係，何應欽很爽快地就答應安排冷少農到軍事委員會訓練總監部任職，給他當秘書。
1928年夏天，冷少農進入訓練總監部後，與熊衝、秦世昌等在大沙帽石將軍巷10號建立地下聯絡站，並與中共地下黨員、總指揮部參謀處中校步兵監鄭坤等人配合，搜集大量情報。
大沙帽石將軍巷是一條古老的小巷，長不過百餘丈。古老、低矮、潮濕的木板房在周圍高樓大廈的包圍下，顯得特別寒磣破落，就像森林裏被髙大樹木遮蓋的小潘木叢，那麼低微、渺小。這條小巷雖簡陋狹窄，卻很熱鬧。這裏有下等的風月場所，每天都有穿粗布短衫的碼頭工人、水手、兵痞、流氓等到小巷裏尋花覓柳。
聯絡站經過一番清理打掃，再在兩邊門框上貼上“生意興隆通四海，財源茂盛達三江”的大紅對聯，“便民日用小雜貨”的牌子一掛，秦世昌就成了這裏的雜貨店老板。
該地下聯絡站設立後，很快就成為發展中共黨員的重要基地，為黨的事業收集和傳遞大量情報，對前線反圍剿鬥爭的勝利及保衛地下黨的安全都發揮了重要作用。冷少農便是這些情報來源的第一貢獻人。
冷少農在訓練總監部，不論是處理辦公室的日常公文，還是給何應欽建言獻策，表現都十分出色，深得何應欽的賞識與信賴。“我沒有把你看錯”，是何應欽常對冷少農說的一句話。