這七千騎軍中包括了三方麵的人馬，因此在出發之前楊炎將士兵們進行了重新整編。虞公亮帶來的俱甲騎兵雖然有近一半是重新補充的，但論戰鬥力迮是宋軍中最強的，迭鋒軍山營的一千俱甲騎兵也隻剩八百多騎，楊炎將這兩軍合為一隊，為第一營；這些甲俱雖然比鐵浮圖的鐵甲要輕得多，但戰馬的負重還是要比普通騎軍重得多，因此每人都有兩匹馬，指揮是陳亦超和劉複武。原選鋒軍的風營和林營的輕騎兵也合為一隊，為第二營，指揮是曹勳和高震；原迭鋒軍火營是配有馬皇弩的輕騎射軍，共八百人單獨為第三營，指揮張榮和張師彥；原來魏勝部下的兩千多騎軍為第四營，指揮是董成、朱震；原選鋒軍的雷營和陰營合為第五營，由楊炎親自辛領，辛棄疾、王世隆、魏昌以及趙月如、趙倩如和她們帶來的女兵都被編入了五營中。
趙月如和趙倩如這次來兗州共帶了三十個女兵，經過挑選之後隻有十二個人合格加入了遠襲軍。其中有四個原來是她們的宮女，分別叫作綿紋、暗香、梅影、幽萍。她們在宮裏跟著趙月如學過一些武技，式以在路正照顧兩人的起居。另外八人都是在尚武院中學習過的女子，韓照靜、張文珠都在其中，另幾人是：石鸞英，餘秀琳、幕容紅、陳瑛、林雅仙、彭璐也都不是平民家出身，大多都來自武將世家。其實在尚武院上學的女子中不是出身官宦獲是富豪之家，很少有來自平民之家的。這是因為隻有大戶豪族才願意出錢供女子學武，這在平民家中是不可能的。
遠襲軍隻帶了十天的幹糧，路上避開大城鎮，專走山間、密林以避開人群。晚間休息也不劫火，隻吃些幹糧，飲些山泉，這一點連趙月如和趙倩如也不例外。不過女兵們到是準備充足，糕餅、點心、糖果等都帶了不少，楊炎特許拔給她們一輛大車來裝，到是夠她們吃的。不過在過夜時隻搭三個帳蓬供妝兵休息，其他人包拎楊炎全部都是在地上鋪塊毛氈睡覺。好在現在是五月下旬，天氣炎熱，到不寒冷。
遠征軍自兗州出發，先繞過歸德府，由楚丘渡過黃河，轉向西北，走了四天，行程近七百裏，由於有萬顯聲在前麵探路，宋軍走的又都山林小路，又有飛鷹在空中巡視，因此一路上到也平安無事。現在己到了東明城附近。這裏離黑陽叫約有二百多裏路，如果崔馬快行，一天就可以到了。
隊伍正在行進之中，忽然前麵一陣騷亂，隻聽見有人喊道：“抓住，抓住他們。”緊接著就是“嗖、嗖”幾聲箭響。楊炎聽了，立刻大喝道：“前麵發生了什麼事情。”
這時一個士兵催馬過來道：“楊統製，王統製在前麵抓了幾個獵人。”
王統製就是王世隆，楊炎不解他抓獵人做什麼。立即傳令，叫全軍暫時停止前進，並布下放哨的士兵。這時王世隆帶著抓住的獵人過來見楊炎：“楊統製，都抓住了，一個也沒跑了。”
楊炎一看，王世隆抓了五個人，一個老人，三個壯年，一個少年，都是獵人打份，其中一個人的胳膊上還中了一箭，血流不止。一個個都五花大把，嚇的臉色慘白。
楊炎不禁道：“王統製，你抓他們作什麼，莫非是金國的奸細。”
王世隆還沒開口，那幾個獵人大叫起來：“大人，我們隻是普通的獵人，不是奸細啊！大人，饒了我們吧！”
“大人，我們不是女真人，我們可也是中原百姓啊！”
王世隆不理他們，對楊炎道：“楊統製，他們是什幺人並不重要，隻是他們己經發現了我軍的行蹤，萬萬留不得他們。”
這句話隻嚇得那五個獵人全身發抖，“撲通，撲通”跪在楊炎麵見，不住磕頭。道：“大人饒命，大人饒命，我們真的隻是普通的獵人，絕不是金國的奸細。”
那老年獵人道：“大人、大人，你要殺就殺哦吧，千萬放了我的兒子、孫子。”
這時趙月如、趙倩如、辛棄疾、虞公亮、魏昌、曹勳、高震、陳赤超、劉複武等人都已圍了過來，看看是發生了什麼事情。等聽王世隆說明了事情的經過，眾人都不禁沉默不語，都看著楊炎，想聽聽他是什麼意見。
這時楊炎心中卻也是難以決定。聽了王世隆一說，他也明白，遠征軍的行蹤被這幾個獵人發現，如果是放了這幾個獵人，但他們卻去佝金軍告密，這次襲擊黑陽山的計劃恐怕就不能成功了。楊炎當然不會天真的以為這五個獵人是中原人，就一定會幫助大宋。他知道對於老百姓來說，隻要能活下去，有飯吃，無論是維來統製都行，金國宋園都沒有什麼區別。何況一但告密成功，無疑會得到一筆賞金，利令心薰，很難說這幾個人不會動心。
但要他下決心殺死這幾個無辜的人，楊炎卻也真的下不了這個狠心。他雖然處理諱犯軍紀的士軍決不留情，但並不是一個狠心嗜殺的人。但是如果不殺，這次遠征又怎麼辦呢？殺還是木殺，在楊炎的心中激烈的鬥急著。
其實不僅是他一個人，在場的每一個人心裏都在想著：如果換了是我，是殺還是不殺呢？
楊炎像是在問眾人，又像是在自語道：“難道擾沒有別的辦法了，非要殺了他們不可嗎？”