為隱藏實力，康凡將晉1師和晉2師留駐璦琿，自己親率晉騎1師與黑龍江部分駐軍共同封鎖黑龍江和吉林邊界，加強邊界防禦並做好難民的接收工作。6月23日，晉騎1師一部與一股越境的俄國哥薩克騎兵爆發了一場大規模白刃格鬥，從俄國人的刀口下解救出了被追殺的同胞，造就了轟動一時的新聞事件。
新式的裝甲團替換了晉軍3個裝甲機械化師原編製中的騎兵團之後，康凡就以這3個騎兵團為班底，又從內衛騎兵部隊中抽調精銳重新組建了3個騎兵師，分別為晉騎1師、2師和3師，都是些身強體壯、訓練有素的官兵，戰馬是良種的高頭大馬，馬刀是精鋼所造，加上火力凶猛的96式通用機槍、96式步槍和02式衝鋒槍，無論從哪個方麵來講都很優秀，戰鬥力絕對在俄國哥薩克騎兵之上。當時，晉騎1師官兵恐傷及本國難民而沒有使用槍炮，師長麻生寶第一個拔出雪亮的馬刀衝向俄軍，身邊的官兵立時催馬揮刀，緊跟而上。而俄軍或許是對自己的戰技過於自信，或許是根本就未把麵前的大清騎兵放在眼裏，也是拔刀相向，待戰鬥一開，再想退可就沒機會了。一霎時，刀光閃閃、人喊馬嘶、血肉橫飛！戰技嫻熟、人數占優的晉騎1師官兵在康凡的注視下幹淨利落地幹掉了這些狂妄的俄國人，勝利收兵。
“俄國哥薩克騎兵也不過如此。”麻師長一邊用布擦拭著自己馬刀上的汙血一邊頗為得意地對康凡說道。
康凡笑了：“這次就這樣了，以後如果再戰，沒有必要跟他們刀對刀、馬對馬的，直接用我們的機槍和火炮就好。”
麻師長很不理解，茫然地看著康凡。
康凡說道：“我知道你是騎兵出身，會嫌那樣做勝之不武。但這是你死我活的戰鬥，怎麼有效就怎麼來，考慮多了反而就是愚蠢了。如果我們這次利用兵力優勢先將俄軍和難民分隔開，然後直接用機槍和火炮掃蕩，至於傷亡這許多的弟兄麼？生命是寶貴的，隻要有減少傷亡的機會我們就一定要去爭取。”
麻師長表情嚴肅地敬了禮，響亮地說道：“明白了，校長。”
護送這些難民們回到就近的難民點，晉軍受到了熱烈歡迎。有些情緒激動的難民抱住身邊的任何一個晉軍官兵就放聲大哭，一時間哭聲震天，好不淒慘！
“我們什麼時候才能打回去？”有人終於提出了這個敏感的問題。
眾人都將目光轉向騎著赤兔的康凡。
“會的。我們一定會打回去的。”康凡一遍一遍地重複著這句話，但圍攏來的人群對他的回答並不滿意，他們需要的是具體的時間表和實施步驟而不是這個搪塞。
這時，內衛部隊的官兵給難民們送來了熱飯、熱水以及被褥、衣物等。饑渴難耐的難民們被這些東西所吸引，都蜂擁而去，排隊等候領取屬於自己的那份東西。康凡這才擺脫了被圍堵追問的尷尬境地，抽身出來。
大量湧入黑龍江的難民中不乏一些身強體壯的青壯年，出於對晉軍的崇敬與仰慕，再加上對日俄軍隊的深仇大恨，一時間，數萬青壯年踴躍報名參軍，兩地的內衛部隊經過篩選接收了其中的大部分，立即分散到各個軍營進行訓練，正好填補了由於常備軍征調兵員後所出現的空缺。同時，山西的工業體係轉入戰時體製後，隨著生產工藝的改進和新建生產線的陸續運轉，各類武器裝備的生產能力成倍提升，一些大型的複雜武器係統例如“虎”和“豹”式裝甲戰車、122毫米火箭炮、130毫米加農炮、“鐵馬”係列軍車、履帶式牽引車等都實現了大批量生產，質量和產量均超過康凡的期望。軍裝、軍用食品、帳篷、藥品、燃料、油料等各類軍用物資的產量更是成倍提升，源源不斷的供應各作戰部隊。這樣，到1905年上半年，晉軍常備軍得以迅猛擴充，達到3個裝甲機械化師、2個獨立炮兵師、3個騎兵師和5個機械化步兵師，總兵力達到20萬人的規模。3個裝甲機械化師也就是晉1、2、3師裝甲團的數量都增加為2個，“虎”和“豹”式裝甲戰車的裝備數量分別達到120輛和240輛。2個獨立炮兵師裝備的130毫米加農炮和122毫米火箭炮數量分別達到72門和36輛。騎兵師和機械化步兵師也都增配了師屬裝甲營，炮兵團都增為2個。所有參戰的晉軍指揮、通訊、後勤、工兵等部隊全部實現機械化，裝備了大量的輪式和履帶式軍車。開戰前，黑龍江地區集結了晉軍的2個裝甲機械化師、2個獨立炮兵師、1個騎兵師、3個機械化步兵師和其他部隊。兩地4個軍用航空基地的24架“追風”偵察機全部集結璦琿，並依托緊急修建的幾個簡易前線機場組織前出偵察，熟悉作戰地域情況，密切監控黑龍江與吉林邊界地區、吉林省、盛京省的敵軍動向。