李自成叔侄二人在綏德呆不下去了，於是便來到甘肅，投奔總兵楊肇基。甘肅的小股農民起義時有發生，楊肇基總是派親兵前去鎮壓。這些親兵也同造反的農民一樣，有機會就搶劫一通。李自成卻與眾不同，他不搶劫，還將擒獲的一些壯士偷偷放走。當時各地的武將都特別留心網羅勇武之人，以便留為己用。李自成身材高大，強壯有力，又學過武術，所以深受楊肇基的賞識，很快提升為總旗，統領五十人。總旗雖是個小頭目，手下人員不多，但對李自成來說，這也算是個施展抱負的機會。
若甘肅東部有警時，李自成便自告奮勇，前去鎮壓。他心想，這些起義的“響馬”中有不少英雄人物，可趁機結識幾個，遇事時必有用處。當時高迎祥正率領百餘人在陝甘邊境一帶活動，自稱“闖王”，頗有英雄氣概，時出劫掠。李自成在當地連續搜索了三天，連高迎祥的影子也沒見著。忽然，身著白袍白巾的高迎祥帶領著幾個人來到李自成軍前，大聲喝道：“高闖王在此，速讓道！”李自成騎在馬上對高迎祥說：“看你也是條漢子，為何要做強盜呢？我奉命來捉拿你。”高迎祥厲聲喝道：“能者來戰！”遂飛騎前來。李自成迎戰。他們對打了好一陣子，二人武藝不分高低。李自成便停下來說道：“自古好漢識好漢。看你的相貌，一定不是平常人。可以的話，我們下馬相見，我有一句話要告訴你。”二人於是下馬敘禮，並走到一個土山上結拜為兄弟，發誓“患難相扶，富貴共享”。二人依依惜別，李自成殺他人報功，於是升任把總。
1629年年底，清兵內犯，甘肅巡撫梅之煥和總兵楊肇基率兵去京師勤王，以王參將為先頭部隊，李自成和他的摯友劉良佳都變成了王參將的部下。他們二人發現王參將是個庸才，在他手下做事頗不甘心。李自成不甘居人下，很想有番作為，他等待著另謀生路的機會。
1630年，李自成離開梅之煥部，投靠到活動於西川地區的張孟存的隊伍中。張存孟不是個成大器的人，也沒什麼策略。在洪承疇的圍剿下，接連失敗，便主動向官軍乞求招撫。為了向官軍表示自己的誠意，他還背叛朋友，殺害自己的夥伴。張存孟活動在延綏一帶，時而投降官軍，時而反複，後來終於被洪承疇所擒殺。李自成看他胸無大誌，也不能容人，隻在張存孟手下待了兩三個月，便領著李過和自己的一小部分人馬投靠高迎祥去了。
大約於1630年，李自成就已和高迎祥聯合在一起共同作戰了。高迎祥號稱“闖王”，在當時各支農民起義隊伍中是實力較強的一支。他是陝西安塞人，在1628年發動起義。因為他較有謀略，心胸開闊，大家都十分願意和他聯合起來共同作戰。如“曹操”羅汝才，“革裏眼”賀一龍，“爭世王”劉希堯等一大批著名的農民軍將領，當時都想與高迎祥聯合作戰。李自成和高迎祥是結拜兄弟，自然備受高迎祥的重視。
大明朝廷對陝西各地農民紛紛起義頗為震驚，便調集能幹的將領率重兵前往鎮壓。1629年正月，明廷命令楊鶴為三邊總督，圍剿各路農民起義軍。年底，崇禎帝又任命洪承疇為延綏巡撫，配合楊鶴進剿。陝西近年連遭旱災，再加上官府加征勒索，老百姓已困苦不堪。官府對農民軍采取剿撫並用的兩麵策略，有的被鎮壓下去，有的受撫招安，但大部分則流動到鄰近的山西一帶。1630年年底，在陝西的各支農民起義隊伍相繼進入山西。高迎祥和李自成這時也都在山西一帶活動。闖王高迎祥和闖將李自成二人關係雖比較密切，但並不是從屬關係，都各自領一營，他們有時單獨行動，有時則聯合起來對付官軍。各營的情況也千差萬別，有的紀律較嚴明，有的紀律就較差。他們的糧食大都是劫掠而來，劫掠的主要對象是各地富室大戶。高迎祥還曾經把自己搶來的漂亮女子邢氏送給李自成為妻。由此也可見，二人確實有著一種不同尋常的親密關係。