被張學良選中在危難之機到齊齊哈爾主政的馬占山將軍，是一個頗富傳奇色彩的人物。
從長相上看，馬占山最典型的特征就是個子矮，因此人送外號“馬小個子”。當時，有一個采訪過他的《申報》記者這樣描述他：“麵頰瘦削，軀幹中人，蓄八字須，襯以有光之兩目，威淩逼人，蓋一神采奕奕短小精悍之丈夫也。”也有的記者在報道中說他長著一副“有特色的泥鰍相”，“具有滿洲土生土長的梟雄所特有的風度。”
從經曆上看，有記者評論說他“與已故張作霖大元帥酷似”。此話可謂一語道破。
舊社會東北有一句話叫做“不當胡子不當官，不進窯子不當太太”，此時當上了黑龍江省最大的官的馬占山就正兒八經地當過一把胡子。在談到他是如何開始的那段綠林生涯的時候，他的女兒馬玉文說：
由於家中貧困，父親從七八歲起就給一個姓薑的大地主（外號薑大牙）放馬。在他18歲那年的一天夜裏，薑家崴子村放賭，一個耍錢的偷了薑大牙一匹馬。可薑大牙一口咬定是我父親偷的，說：‘那匹馬性子非常烈，一般人近不得前，你放馬多年，就你能使喚它，肯定是你偷的。’不由分說，將我父親捆綁起來，送到了毛城子警察分局。
舊社會的軍警從來都是和有錢有勢的人一個鼻孔出氣的。薑大牙是那一帶有名的富戶。所以不問青紅皂白，就將我父親兩個大拇指拴起來，吊在棚頂大梁上，嚴刑拷打，非逼他承認偷馬不可。怎麼打父親也不承認，他大聲分辯說著：‘我沒偷你的馬，你不能誣賴好人！’‘就是你，你家窮，你想偷馬賣錢！’我爺爺就這麼一個兒子，急得團團轉。他知道，窮人和富人打官司，窮人沒個贏。他硬說你偷了，你不承認隻有死路一條。老實的爺爺四處磕頭，求大家幫忙把兒子贖出來。後來，由我舅爺出頭做鋪保，用我家僅有的田產：一小塊麥青地、一頭小毛驢將父親贖了出來。
令人氣憤的是，在我父親被押期間，薑大牙的那匹馬自己跑了回來，但貪財的薑大牙硬是不承認。爺爺怕父親再遭毒手，隻得含冤忍辱，忍氣吞聲。
父親回家後，總咽不下這口氣。他埋怨爺爺膽小怕事，發誓：總有一天要報仇雪恨。
從那以後，他總想出走。爺爺讓我母親看著他。可怎麼能看住呢！一天，他鏟地回來，就進屋裏躺下了。當時爺爺在外屋，媽在廚房裏做飯。做好飯進屋裏叫父親吃飯，一看窗戶開了，人沒了。出去攆，不見人影。爺爺出去找了一個來月，哪兒也找不著。後來碰到一個相麵的老頭，他說：‘我看見你兒子了，家裏圈不住他，他該出去了，你不用找他了。’我爺爺很迷信，便不再去找了。
後來才知道，為了報仇雪恨，父親從家出走後，直奔胡匪嘯聚之所——哈拉巴喇山落草為寇去了……
馬占山就是這樣由一個老實巴交的農民被逼成了胡子的。那麼，他又是怎麼開始由“綠林好漢”搖身一變而為官場中人了呢？他的內侄、也是長期跟隨他的副官杜海山說：
“兩年後，日俄戰爭結束，沙俄侵略軍撤出了懷德一帶。清政府為恢複地方的統治，著手收編散在各地的民團，以及願意歸順的‘綠林好漢’，充當維持地方秩序的武裝。這時，馬占山帶著他的弟兄們響應改編，成為地方遊擊隊。馬占山被委以哨官。當時，這類遊擊隊還不是清政府的正規軍，類似民團組織，因此，馬占山還算不上是清軍哨官。1908年，清政府調提督張勳部進駐昌圖府，為了擴充實力，張勳派馬瑞麟去懷德改編遊擊隊為清政府的直屬部隊，並調這支部隊駐紮昌圖。這時馬占山成了名符其實的哨官。從此開始了行武生涯。”
馬占山任哨官不久，又調充隨軍侍衛，常在張勳左右。
當時吳俊升任統領，隸張勳部下。吳與張意見不合，常受張的排斥。馬占山在張麵前，常為吳說好話。吳心裏感佩，很表器重，想遇機提拔。遂於宣統三年，調馬占山到其所部第四營。