東北三省從清朝末年以來，就以生產土匪聞名。這有它的曆史根源。它是甲午、庚子兩次戰亂的產物，是清朝反動統治黑暗腐敗、對人民殘酷壓迫和剝削，以及日、俄帝國主義對東北侵略和荼毒所造成的結果。
東三省的土匪多數騎馬，所以又叫馬胡子。它有反對反動統治的一麵，但也有危害社會秩序、破壞生產力的一麵。清末東北的綠林，主要形成於甲午、庚子以迄甲辰這10年之間。其所盤踞的地區多在遼河下遊及遼西各縣，也就是甲午、庚子以及甲辰各次戰亂的受害嚴重的地區。由於兵災之後，地方糜爛，田野荒蕪，民不聊生，社會上呈現極度動蕩不安的狀態。一些遊手好閑的青壯年就要鋌而走險，同時，戰後的一些散兵遊勇流散到社會上無所事事，這也是產生胡匪的一大來源。於是就有別具野心的不逞之徒利用這個機會，豎起綠林的旗號，嘯聚徒眾，稱霸一方，儼然形成了獨立王國，為所欲為，莫可誰何。
當年，嘯聚遼寧一帶的匪眾主要分為以下幾幫：
首先是趁火打劫、渾水摸魚的馮麟閣。馮是海城縣的衙役出身，為人貪殘狠毒，利欲熏心，他看到社會動蕩不安，認為有機可乘，就趁火打劫，渾水摸魚。為了欺騙群眾，籠絡人心，他打起殺富濟貧的幌子，糾合地方上的流氓賭棍、散兵遊勇等在盤山縣的田莊台、遼中、台安、錦州、彰武一帶橫行霸道，搶劫淫掠，為害一方。解放後為我人民政府鎮壓的大漢奸張海鵬和曾當過綏遠都統的汲金純，都是他得力的助手。他的徒眾經常有百八十人出沒各地，最多時能嘯聚到幾千人。
第二是驕橫強悍、獨樹一幟的杜立山。杜是遼中縣人，家境貧困，為人豪爽。據說，他有8個老婆，都非常剽悍，杜和他的老婆都能騎馬打槍，百發百中。他在遼中縣能糾合徒眾千餘人，槍馬俱全，自立一幫。杜在各匪首中是最年幼的一個，但他的勢力最大，聲威最盛。偽滿有名的漢奸於芷山，原來就是他手下的健將。
第三是具有政治野心的張作霖。張本是宋慶所部毅軍的一個騎兵小頭目，跟獸醫官學了些獸醫知識，退伍後回海城縣高坎村開一小獸醫莊。他因經常給各匪幫醫馬疾，因而同各匪幫都有所接觸，到後來社會上都說張作霖是匪徒的窩主，所以也就迫使他走上了綠林的道路。當時張的勢力同其他各匪幫比較起來，還是很薄弱的，徒眾最多不過數百人。但張的幾個助手都很強悍，如曾經毒害熱河老百姓的熱河都統湯玉麟（綽號湯二虎）、曾當過察哈爾都統和偽滿內閣總理的張景惠和曾做過吉林督軍的張作相等都是張作霖的得力助手。湯玉麟在捕盜營當兵，原是個賭棍出身，為了闖光棍，用燒紅的鐵通條燙自己的肋骨，眉頭不皺，談笑自若；張景惠原是個豆腐匠，後拉起一小幫；張作相是泥瓦匠出身，在錦州也拉起一小幫。後來他們都投到張作霖的旗幟之下，入了大幫。張作霖在幫中本來是後起，他的勢力所以擴展得那樣快，和他手下這三員健將是有直接關係的。
第四是認賊作父、賣國求榮的金萬福。金原是小站北洋新軍的一個小頭目，因過不慣軍隊的紀律生活，回到家鄉海城縣後，見到當地土匪勢力很大，而且可以為所欲為，於是就糾合一批流氓、惡棍、賭徒等成立匪幫，自己當上了頭目。但他因為人少力弱，便拜馮麟閣為老大哥，等於馮麟閣的一個別動隊，惟馮之馬首是瞻。
第五是混入匪幫進行間諜活動的日本人王小辮子。所謂王小辮子，就是甲午戰爭時在旅順口被殺死的日本間諜田老二的同夥“王老板”（日本名字已記不清了），他是甲午戰爭後日本潛伏下來的特務機關長。另有一個助手叫林大辮子，日本原名叫津久居。他們都是日本現役軍官，潛伏在中國作間諜活動。兩人和眾匪首拉攏勾結，為各匪幫供應槍械子彈等，自己也成立一小幫，跟著各匪幫活動。
以上這幾幫馬胡子都是在庚子前後生成和發展起來的。馮麟閣的資格最老，除金萬福拜他為老大哥外，杜立山和張作霖都算是他的晚輩。杜立山有個本族叔父名叫杜泮林，是遼中縣的一個舉人，給眾匪首出謀劃策，儼然是他們的軍師，除因年齡關係，和馮麟閣以弟兄相稱外，張作霖、金萬福都拜他為義父。各匪幫初起時，搶劫財物，燒殺淫掠，無惡不作。庚子以後，他們的做法有所轉變，基本上是各據一方，各有自己的勢力範圍，已不以一家一戶的搶劫為主，而是與地方富紳、地主勾結，並與官吏互相默契，各在所盤踞的地方實行保險，即保證在所保險的界內不發生綁票搶劫案件，而由界內居民按月攤派一切費用。這樣，地方上雖然可以苟安於一時，但是勞動人民的負擔就越發沉重了。
甲午戰爭後，東三省成為帝俄和日本兩大侵略勢力的角逐常日本因被帝俄聯合法、德兩國強迫歸還遼東半島而始終不甘心，一直在進行陰謀活動，想實現它的所謂“大陸”政策。因此，日本秘密派遣現役軍人潛入東三省及內蒙等地勾結和組織土匪，並挑撥漢、蒙族之間的關係。王小辮子就是負有勾結和組織土匪任務的一個現役軍人。在甲午戰爭前，他是在旅順口和山東威海衛一帶刺探我國海軍情報的大間諜。戰後，他又混入東北匪幫之內，極盡拉攏勾結利用之能事。他的助手林大辮子是日本士官學校學員，辛亥革命前曾自稱是關東廳守備隊駐瓦房店的一個聯隊長。王、林兩人為勾結和利用土匪所下的功夫很深，所起的作用也很大。王小辮子和馮麟閣、張作霖結為盟兄弟，金萬福因與馮的關係也常同王接觸，後來成為密友。這幾個匪首都稱王為大爺，惟杜立山不然。杜與王不相往來，因為杜立山的第三個老婆王氏就是甲午戰爭時在小平島殺死日本間諜田老二的那個英雄女子。他在眾匪首宴會中見到了王小辮子以後，王氏即將王小辮子的一些情況說給了杜立山，所以杜對王小辮子始終保持著警惕，拒絕和他接近。
杜立山雖是馮麟閣的晚輩，但他與馮的關係比較深，馮對杜也較親近。杜曾勸馮說：“王小辮子是一個日本間諜，他所以要混到我們這裏來，是不懷好意的；我們過去不得已走上了土匪的路，這已經是很難看的了，再受日本間諜利用做個賣國賊，那豈不更是留罵名於千古嗎！”後來，馮把杜勸他的這番話告訴了金萬福。金聽後，一方麵在表麵上對馮進行敷衍，另一方麵對王不但不戒備，反而更加密切了。王聽到金的訴說後，更是利用種種手段把金緊緊地籠絡在他的手中，使金完全聽從他的擺布。金在王的吹拍之下，更加得意忘形地勸馮說：“人生在世，總要有個出頭露麵的日子吧，我們搞這種勾當，到什麼時候才算完呢？這能有什麼好下場呢？”接著他就把王的情況介紹給馮，說：不錯，王確實是個日本人。他因為在軍隊中犯過錯誤，不願回日本，就流落到這裏和我們混在一起。我雖然和他認識在後，但是他很相信我，對我無話不說，可說是相印以心。他過去在陸軍中當過將官，有好多同學同事和三井洋行老板有關係，我們和他多接近，不但現在的槍械子彈容易解決，而且將來我們缺錢有錢，缺人有人，哪裏有這樣好的借重呢！我看我們應該想開一點，日本固然是中國的仇敵，但這和我們個人又有什麼相幹呢！我們要為自己的前途打算，不要聽杜立山這個小子胡說八道。杜立山耳朵軟，聽老婆的話就信以為真，太沒有漢子氣了。我們應打定個人的主意，不要三心二意，搖擺不定。金的這番話雖然打動了馮的利欲念頭，但杜立山勸說他的話已先入為主。是留罵名於千古呢，還是貪圖快意於一時呢？馮一時難於決斷，因此對王小辮子也就采取不即不離、亦即亦離的態度。
後來，杜立山的忠告終究未戰勝日本間諜處心積慮的勾引，馮麟閣對王小辮子雖然存有戒心，但仍逃不出王的魔掌。金、馮兩個匪首終於在日本的指使下，出動他們的騎匪破壞東清鐵路工程，並揚言除非帝俄拿出巨額代價，否則絕不停止扒路活動。帝俄偵知這種情況，派便衣人員設法把馮捕去，押赴西伯利亞下獄，但為時不久，又由王小辮子收買中國通事（即翻譯）刁義廷從西伯利亞監獄中把馮營救出來。馮回到奉天，仍舊幹他的老勾當。從此以後，馮、金同帝俄結下了深仇，卻一頭紮進了日本間諜王小辮子的懷抱。
甲辰日俄戰爭中，日軍在遼陽南首山一役遭俄軍抗擊，屢攻不下，傷亡慘重，結果利用馮麟閣、金萬福所部騎匪數千人組成了所謂“忠義軍”（當時人稱為花膀子隊），從遼河以西挺進，抄襲首山的右側背。俄軍出於不意，放棄首山，向北敗退。日軍乘勝長驅北上，俄軍一敗塗地，不可收拾，日俄戰爭勝負之局，由此也就決定了。馮、金兩匪部幫助日本襲擊俄軍，使首山戰役轉敗為勝，因而決定了整個戰局，立下很大的功勞，日本天皇獎賞他們兩人寶星勳章，並電請清政府將這兩個匪首收編重用。不久馮、金兩人就被清政府擢用為奉天省巡防營統領和幫統。雖然如此，馮麟閣多少總還有一點民族氣節，以後漸漸地與日本疏遠下來，惟有金萬福一心甘願作漢奸，所以他的幫統衙門裏用了大量的日本顧問為其出謀劃策。金所部巡防營駐在鐵嶺、開原一帶，常在轄區內興風作浪，敲詐撞騙，設賭抽頭，在奉天綁票勒贖，不過是由土匪變成了官匪。
張作霖對各匪首均采取不即不離的態度。他是個機警過人、別有野心的人物。庚子變亂之後，他看到這樣幹下去是不會有好結果的，就同張景惠等幾個得力夥伴計議說：“我們長此在綠林中吃黑飯，前途暗淡，是毫無出路的。我看不如用我們現有的這點實力作本錢，向官家討價，棄暗投明，總比這樣繼續幹下去有些出路。”當時他的幾個夥伴都表示同意，並且說：“隻要當家的（匪中黑話，即首領之意）有好辦法，打定主意，我們無不惟命是聽。”張接著說：“隻要大家願意，我自有道理。不過在未實現以前，必須嚴守秘密，如果泄露出去，不但事情要失敗，而且更要被綠林朋友恥笑。你們也許聽說了吧？盛京將軍增祺前些日子已派人去關內接家眷來奉天，這就是我們的大好機會。將來增的眷屬從此經過，我們要連人帶物都給劫下來，但不準亂動，到時聽我的命令行事，違者就要以手槍相見。”
果然，不久增祺的老婆和隨護人員乘著十幾輛馬車行至新立屯附近一條荒僻路徑，就被張作霖早已埋伏的匪眾截住，將大小官棄所攜帶的槍械子彈以及數十件箱櫃全都劫了下來，連人帶物一並押解到新立屯街上。他們把擄來的人員車馬都安頓停當，單給增的老婆和她的貼身侍者安置在一間很好的房舍裏，並用最好的鴉片煙款待增的老婆和隨行人員。這些人看到這幫土匪非常溫和，很容易接近，心中有些莫名其妙。張作霖又親身招待隨行的幾個重要人員躺在床上吸鴉片煙，還表觀出唉聲歎氣的樣子，並說：“咳，現在我們的國家如此軟弱，受盡了外人的欺淩，真使我有說不出來的傷痛！我們所以當上土匪，也是被逼上梁山的！”增太太的隨行人員，看到張談吐如此文雅和滿腹牢騷的情景，料定其中必有文章，其中一個比較有地位的人搭訕說：“我們很同情你的處境，我想我們將軍來到奉天一定會有辦法的，你們也一定會有出頭露麵的那一天。”接著又說：“請原諒我不懂規矩，不知道應該怎樣稱呼，請問您貴姓？”張答說：“我就是張作霖。”這幾個人一聽是張作霖，倒抽一口冷氣，一時都很愕然。這些人過去聽說張作霖是奉天著名的匪首，生得身魁力大，麵貌凶惡，今天真個見了麵，卻是這樣一個儒雅溫和、文質彬彬的二十六七歲的青年，暗中覺得有些詫異。張作霖接著就把自己的身世和為什麼會走上綠林這條路的前因後果，很坦率地說出來，言下流露出一股憤懣不平之意，並故意對盛京將軍增祺表示怨恨，說增到任不久，不弄清真假虛實，就要嚴拿法辦，使我們有口難辯，不過我們幹這個勾當早已將生命置之度外了。那個隨員接著說：“依我之愚見，長此同官家作對，畢竟是沒有好處的。為了個人的前途，我看你們棄暗投明，才是正路。”隨後又問張：“假如有這樣的機會，尊意如何呢？”張回答說：“我已說過了，我們是萬不得已才當上土匪的，假如能得到機會為國家效命，是正合我們心願的。不過聽說增將軍這個人很固執，我們現在還很難使他改變態度。”張接著又問：“你們究竟是哪一部分的？那位太太又是誰？請放心，我們保證不會加害你們。”帶頭的那個人思索片刻說：“待我回稟太太一聲，取得她的同意再同你談。”這位隨員立即去見增太太，把和張作霖的談話經過述說一遍。增太太當時考慮，一來為了解除眼前急難，二來為了替增祺去一地方治安的大患，論公論私都應見張一麵。她和隨行人員商議決定之後，準備與張一見。張入室行了個大禮參拜，低首站立著說：“張作霖冒犯夫人，願聽吩咐。”增太太看張對自己很恭敬，也很謙遜，就對他說：“我明白告訴你吧，我就是增將軍的夫人。我們這次是由京城來到奉天，路過此地。我原在省城時，就聽說綠林各幫與增將軍為難，特別是你的聲名最大。現在路上巧逢，想不到你這樣對待我們。適才聽到隨行人員報告關於你過去的一切和你的願望，我很同情你。我看你是一個很有為的青年，而且又有這樣一部分力量，假如你能很快地改邪歸正，棄暗投明，前途一定是不可限量的，我想你一定會願意這樣做吧？隻要你能保證我們一行平安到達奉天，我也保證向增將軍建議收編你們這一部分力量為奉天地方效勞，既有利於地方治安，你們也有了出路。你看這樣好嗎？”張立即稱謝，並說：“假使我張作霖能帶眾弟兄投到增將軍麾下，為國家效命，有生之日決不能忘掉增太太的大恩。”隨即辭出與張景惠等說明，並命令匪眾把所劫的東西連同槍械子彈照數交還隨行人員查點清楚，寸草未動。增太太和隨行人員更大受感動，並拿出5錠紋銀賞給張的部眾。張婉言謝絕說：“隻要我們有出頭露麵的一天，那就歿世難忘了。”增太太一行人等隨即離開新立屯，平安回到了奉天。