1913年吳俊升部被改編為騎兵第二旅，吳任旅長，馬調任第三團任少校連長。1914年，駐懷德縣。
日俄戰爭結束後，沙俄不甘心失敗，挑撥漢蒙關係，製造民族分裂，收買民族敗類，策劃叛國活動。為消滅蒙古叛匪，馬占山奉命前往剿捕。由於他從小為人放馬時練就了一身馬上強功，落草為寇時又練就了一手嫻熟的槍法，因而在激戰中，他可在馬肚側麵藏身，以惑敵人；又可將頭探於馬首下，彈不虛發。他屢建戰功，深得上司讚賞。
1918年秋，馬占山接到家信，信中告知：‘父病危速歸。’當時馬占山正在追剿一股號稱‘好友’的頑匪，戰事緊張。他回信：‘上麵有令，抓不住好友不許回家。’直到抓住了‘好友’馬占山才匆匆回家去，但父親已經去世。這一年，馬占山因剿匪有功，升為營長。
自那以後，馬占山便由營長而團長而旅長而師長而軍長，一步一個腳印地升到了黑河鎮守使的位置，統轄沿江十餘縣。
1931年10月10日，張學良一紙電令把馬占山推到了黑龍江省代主席的位置上。馬占山知道，他的這次高升可不比尋常。
擺在馬占山麵前的出路有三條：
第一、忠實地執行國民政府之不抵抗命令，率軍一走了之。這在當時東北軍“二十萬人齊解甲，竟無一個是男兒”大背景下，似乎是一個順理成章的選擇；
第二、像遼寧的臧士毅、吉林的熙洽那樣，投到日本人的懷抱裏。這樣他照樣可以“高官任做、駿馬任騎”；
第三、奮起抗日。但“反思我兵力單薄，兵器不良，抵抗決難持久”。
馬占山到底沒有辜負對他有知遇之恩的吳大帥對他的期望，更沒有辜負東北三千萬父老兄弟的重托。在痛苦的思索之後，他下決心“要為國家爭國格，為民族爭人格，到省後，不管有何困難，必與日本一拚。”
10月11日，馬占山乘大興輪船由黑河啟航，經哈爾濱改乘火車赴省城。19日晚，他到達齊齊哈爾，20日舉行就職儀式，正式走馬上任。
馬占山此時麵臨的是一個亂攤子、險攤子——
敵情：日軍自占領遼吉後，誘惑洮遼鎮守使張海鵬，許以黑龍江省主席，令作前驅，張海鵬昏庸無知，甘為傀儡，10月11、12兩日，日軍運軍火數列車交張使用，省城紳士趙作人等赴洮南迎接……張逆氣餒，不敢前來，日本遂調兵遣將自行出馬矣。
財政：僅接省政府存款八萬餘元，並有未發行之黑龍江省紙幣200萬元，押在哈爾濱各銀行。
公務員：多自動離職。
市麵：錢法毛荒，本省紙幣，哈爾濱已不通用。商戶多閉門遷避。
兵力：江省全部兵力，約兩萬餘人，另有精銳之國防軍兩旅，開往關內未回。目前可用者，僅駐在省城之衛隊團、炮兵營、工兵營，2500人。
幾乎就在馬占山到達齊齊哈爾的同時，日本人的威脅恫嚇也接踵而至了。
10月25日，日本駐黑龍江省領事清水照會馬占山：奉本莊司令官之命，請將軍將江省政府和平讓予張海鵬。奉吉兩省已經與日本合作，諒黑龍江一省之力，決難抵抗，如不願合作，張海鵬曾托本莊代說願出500萬元請將軍出國遊曆。
馬答：“馬占山決不能出賣黑龍江，你回去告訴本莊，他如想得黑龍江，可拿血來換，不要瞧不起中國人，拿錢來迷惑我。”
10月26日，日軍二十九聯隊進占四洮路全線。
10月27日，日本駐齊齊哈爾特務機關長林義秀向馬占山下戰表：限黑龍江省在一周內迅速修複江橋，如果在規定時間內不能完成，則以後由日方修理，並視情況對工程進行實力保護。