張作霖這個人，不管放到哪個年代，都屬於“沒事瞎折騰”的典型。史書上講到那些嘯聚山林的綠林好漢，大多是官逼民反、逼上梁山，沒有幾個人在家裏過得好好的，然後出去當土匪的。哪怕是在民初的東北，土匪成患，大多也是因為窮困潦倒，不得不鋌而走險。但是落草之前的張作霖呢？有一份正當職業、有一技之長，上有老下有小，怎麼看過的都應該算是小康生活，但就是這樣一位不愁吃穿的人，居然要放著好好的日子不過要去當土匪。
（一）
張作霖當時所在的遼西，在甲午中日戰爭之後成了三不管地區，開始出現大量的土匪。東北人管土匪叫“胡匪”或者是“胡子”，稱土匪頭子為“綹子”。關於這個稱呼的由來，有兩個傳說：一是說土匪多是嘯聚山林，因為要躲避政府和地方武裝的圍剿，所以經常躲藏起來，也就顧不上打理形象，所以就長出了亂糟糟的胡子，一看長相就是土匪；二是說當初東北土匪的祖師爺搶劫的時候，為了起到恐嚇作用，也怕被其他人認出來，就會身穿奇裝異服，並且在臉上掛著假胡須。不管是其中哪種解釋，都說明“胡子”意味著一種凶神惡煞的形象特征。
每到冬天，土匪都會躲起來“貓冬”，春天冰雪融化之後再出來打家劫舍。土匪管搶劫叫“砸窯”，搶劫大戶人家就叫“砸響窯”。土匪人多，又需要馬匹又需要槍支，單去搶劫貧苦老百姓是不行的，因此隔三岔五就會砸一次“響窯”。於是，害怕被土匪侵擾的大戶人家就聯合起來出錢，資助當地的一些勇武的青年組成自保的地方武裝，當地稱之為“大團”。所以，後來有人說張作霖是土匪出身，多少有點兒冤枉他，因為張作霖最早做的其實是維護地方安全的事務，到後來才客串了兩天土匪，但也是因為生計所迫打兩天臨時工，但說張作霖是綠林出身卻是沒有錯的。
在趙家廟附近經常有土匪出沒，張作霖的嶽父趙占元就與當地其他幾戶地主合計著建立一個大團。張作霖聞訊之後，就親自跑去見嶽父，表示自己願意承擔起維護地方安全的責任。趙占元自然很高興，張作霖畢竟是在毅軍裏當過兵、打過仗的，由他率兵可以保證訓練規範，戰鬥力多強不好說，有模有樣至少是沒有問題的。於是，趙占元就聯合趙家廟的幾個地主，湊了些錢，交給張作霖，讓他去招募鄉勇。因為做獸醫的緣故，張作霖經常跟綠林道上的人打交道，也認識不少當地的鄉勇，所以拉起隊伍來不是問題。加上他平素就仗義疏財，很多人也願意跟著他。
沒有幾天，張作霖就拉起了自己的大團，一共有二十餘人，當上了小頭目，陸續將附近幾個村子的治安都負責起來。關於張作霖這支大團的戰鬥力，看起來是不錯的，因為據說在張作霖拉起隊伍之後，附近的土匪都鮮少到趙家廟來，偶爾流竄過來的幾夥土匪也很快被擊退。張作霖將自己所負責的地區稱為“保險區”，並要求自己的隊伍在“保險區”內必須遵章守紀，積極維持治安。張作霖的這支隊伍，完全是按照正規部隊的訓練方式訓練出來的，戰鬥素養雖然比正規部隊還要差很多，但是對付由烏合之眾組成的土匪還是綽綽有餘的。加之張作霖對這些鄉勇要求嚴格，受到地方鄉紳的支持和歡迎，大團得到的經費支持也日漸充足，從而保證了戰鬥力。
不過，雖然在自己的“保險區”裏奉公守法，但出了自己的地盤可就不好說了。碰到手頭緊張的時候，張作霖也會帶著自己的大團出去搶點兒。關於東北土匪的這種情況，其實在很多地方都有類似之處，古代有“官匪一家”之說，因為大團這種組織，是有匪才有團，如果這個地區沒有匪了，大團也就失去了存在的必要。所以大團之間也互相串串門，你來我這裏砸窯，我把你打跑了，顯示我在地方上的價值，當然，也不讓你白來，順手拿走點兒雞零狗碎也就睜一隻眼閉一隻眼過去了。等到你那邊長時間沒有土匪滋擾，我就過去放兩槍，也自你那邊提點兒雞零狗碎回來，這樣土匪不斷，大團也就不會絕。
但是自張作霖的大團拉起來以後，遠處的土匪就不敢越界來滋擾了，而鄰近的村子也都來找張作霖，出錢將自己的村子劃入“保險區”，張作霖管轄的範圍由此不斷擴大，達到了二十多個村子。同時，張作霖的名聲也越傳越廣，在東北的綠林道上算是一個有點兒名聲的人物，江湖上的朋友說起來，也知道有這麼一號人物。在趙家廟拉大團，應該算是張作霖江湖生涯中的第一桶金。
也是在此間，張作霖結識了錦西紅羅山的土匪頭子湯玉麟。湯玉麟是遼寧阜新人，字閣臣，1871年7月生於四道橋子（今新民鄉，也有說生於遼寧義縣稍戶營子霍家溝，即今太平溝），少年時因家貧無錢讀書，遂給地主家放牛羊，後來趕車為雇主運送貨物，習得一手好槍法。一次外出運貨時被土匪搶劫，遂到大淩河投奔苑四、苑五兄弟落草。此後羽翼漸豐的湯玉麟離開大淩河，到錦西紅羅山招兵買馬，甲午戰爭後一幫潰敗的清軍投到湯玉麟的山寨入夥，使湯玉麟成為遼河流域有名的“大杆子”。