李自成叔侄二人在绥德呆不下去了，于是便来到甘肃，投奔总兵杨肇基。甘肃的小股农民起义时有发生，杨肇基总是派亲兵前去镇压。这些亲兵也同造反的农民一样，有机会就抢劫一通。李自成却与众不同，他不抢劫，还将擒获的一些壮士偷偷放走。当时各地的武将都特别留心网罗勇武之人，以便留为己用。李自成身材高大，强壮有力，又学过武术，所以深受杨肇基的赏识，很快提升为总旗，统领五十人。总旗虽是个小头目，手下人员不多，但对李自成来说，这也算是个施展抱负的机会。
若甘肃东部有警时，李自成便自告奋勇，前去镇压。他心想，这些起义的“响马”中有不少英雄人物，可趁机结识几个，遇事时必有用处。当时高迎祥正率领百余人在陕甘边境一带活动，自称“闯王”，颇有英雄气概，时出劫掠。李自成在当地连续搜索了三天，连高迎祥的影子也没见着。忽然，身着白袍白巾的高迎祥带领着几个人来到李自成军前，大声喝道：“高闯王在此，速让道！”李自成骑在马上对高迎祥说：“看你也是条汉子，为何要做强盗呢？我奉命来捉拿你。”高迎祥厉声喝道：“能者来战！”遂飞骑前来。李自成迎战。他们对打了好一阵子，二人武艺不分高低。李自成便停下来说道：“自古好汉识好汉。看你的相貌，一定不是平常人。可以的话，我们下马相见，我有一句话要告诉你。”二人于是下马叙礼，并走到一个土山上结拜为兄弟，发誓“患难相扶，富贵共享”。二人依依惜别，李自成杀他人报功，于是升任把总。
1629年年底，清兵内犯，甘肃巡抚梅之焕和总兵杨肇基率兵去京师勤王，以王参将为先头部队，李自成和他的挚友刘良佳都变成了王参将的部下。他们二人发现王参将是个庸才，在他手下做事颇不甘心。李自成不甘居人下，很想有番作为，他等待着另谋生路的机会。
1630年，李自成离开梅之焕部，投靠到活动于西川地区的张孟存的队伍中。张存孟不是个成大器的人，也没什么策略。在洪承畴的围剿下，接连失败，便主动向官军乞求招抚。为了向官军表示自己的诚意，他还背叛朋友，杀害自己的伙伴。张存孟活动在延绥一带，时而投降官军，时而反复，后来终于被洪承畴所擒杀。李自成看他胸无大志，也不能容人，只在张存孟手下待了两三个月，便领着李过和自己的一小部分人马投靠高迎祥去了。
大约于1630年，李自成就已和高迎祥联合在一起共同作战了。高迎祥号称“闯王”，在当时各支农民起义队伍中是实力较强的一支。他是陕西安塞人，在1628年发动起义。因为他较有谋略，心胸开阔，大家都十分愿意和他联合起来共同作战。如“曹操”罗汝才，“革里眼”贺一龙，“争世王”刘希尧等一大批著名的农民军将领，当时都想与高迎祥联合作战。李自成和高迎祥是结拜兄弟，自然备受高迎祥的重视。
大明朝廷对陕西各地农民纷纷起义颇为震惊，便调集能干的将领率重兵前往镇压。1629年正月，明廷命令杨鹤为三边总督，围剿各路农民起义军。年底，崇祯帝又任命洪承畴为延绥巡抚，配合杨鹤进剿。陕西近年连遭旱灾，再加上官府加征勒索，老百姓已困苦不堪。官府对农民军采取剿抚并用的两面策略，有的被镇压下去，有的受抚招安，但大部分则流动到邻近的山西一带。1630年年底，在陕西的各支农民起义队伍相继进入山西。高迎祥和李自成这时也都在山西一带活动。闯王高迎祥和闯将李自成二人关系虽比较密切，但并不是从属关系，都各自领一营，他们有时单独行动，有时则联合起来对付官军。各营的情况也千差万别，有的纪律较严明，有的纪律就较差。他们的粮食大都是劫掠而来，劫掠的主要对象是各地富室大户。高迎祥还曾经把自己抢来的漂亮女子邢氏送给李自成为妻。由此也可见，二人确实有着一种不同寻常的亲密关系。