从大业七年到大业十年（公元611年到614年），隋炀帝曾接连三次发动侵略高丽的战争。这又给人民带来一次大灾难。一次征兵就是300万人，还征调民工在东莱（今山东省莱州市）、海口造船300艘。不仅如此，隋炀帝还征发民夫运军粮，两个人推一辆小车，车上只能装三石粮，道路遥远，三石粮仅够民夫一路的口粮，运到指定地点，米已吃光，民夫无力缴纳，只好逃亡。百姓为了逃避兵役、徭役，甚至把自己的手脚砍掉，还起名叫“福手”、“福足”。在忍无可忍的情况下，农民起义终于爆发了。
大业七年（公元611年），王薄首先在山东长白山（今章立、邹平、长山等县交界处）起义，活跃在齐郡（今济南）、济北郡（今茌平）一带。隋炀帝调集大军进行镇压，更加激起了广大农民的愤怒。不久，各地起义军汇合成三支强大的队伍，一支是由窦建德领导的河北起义军，一支是由翟让领导的瓦岗军，一支是由杜仗威领导的江淮起义军。其中瓦岗军力量最强大。
瓦岗军的首领翟让，是韦城（今河南省滑县）人，在东郡（今河南省濮阳县）衙门做法曹（管理监狱的小官）。后来，因为犯了一点小过，被关进监狱，判了死刑。狱卒黄君汉平日很敬佩翟让，看到翟让突遭横祸，非常同情他。一天夜里，趁天黑无人，黄君汉打开翟让身上的枷锁，让他逃跑。翟让一边道谢，一边哭着说：“蒙您救助，我得以死里逃生。可是，我走了以后，您怎么办呢？”黄君汉生气地说：“你这是什么话！我看你是个有抱负的人，将来能干出一番拯救百姓的事业，才不顾个人安危放了你，你只管去干大事业吧，不要为我担心。”说完，两个人就分手了。翟让逃出东郡，回到韦城老家。这时候，他家乡的农民正在酝酿起义，他和哥哥翟弘、侄儿翟摩侯，还有同郡的青年勇士徐世绩（后来改名李绩），绩、单雄信等人一起上了瓦岗寨，举起了起义的大旗。起义军活跃在南北河之间200多里的广大地区，杀富济贫，队伍不断壮大。
一天，瓦岗寨门口突然来了一个衣衫褴褛的人，要见翟让，卫兵把他带到翟让那里。原来他就是远近闻名的李密。原来李密在构定感起义失败之后，也被捉去。在押送的路上，李密逃了出来。他在外面流浪了2～3年，穷到吃草根、树皮的地步。隋朝官府到处追捕他，最后，他终于上了瓦岗寨。
李密是个很有才干的人，他做过隋朝的官，政治斗争经验和指挥作战的本领比翟让这些人高明。他看到瓦岗军力量越来越大，可只是袭击来往官兵、抢劫运河上运货的船只，没有远大政治目标，便给起义军的将领们分析形势。他对翟让说：“如今杨广昏庸残暴，老百姓怨声载道，这和秦朝末年刘邦、项羽起兵时候的形势完全一样。凭你的才干，又有精锐的兵马，完全可以席卷洛阳和长安，推翻隋朝！”李密的分析，使农民军的首领大开眼界，他们对李密十分钦佩和信任。接着，李密又去说服瓦岗军周围的小股农民起义军和瓦岗军组成联军，共同作战。这样，瓦岗军越来越壮大，成为一股强大的反隋力量。
大业十二年（公元616年），瓦岗军在翟让、李密的指挥下，打下金堤关（今河南省滑县南）。拿下荥阳附近的几个县城，直逼荥阳城下。荥阳地势险要，是通洛渠人黄河的枢纽，自古是兵家必争之地。瓦岗军围困荥阳，吓坏了荥阳太守杨庆，他急忙向隋炀帝告急。隋炀帝任命张须陀为荥阳通过（一个郡的副长官），带领2万精兵，去援救杨庆。
张须陀是隋朝有名的猛将，十分阴险狡猾，王薄领导的农民起义军就是被他镇压下去的。过去，他曾几次打败过翟让，所以，翟让听说张须陀带兵来救荥阳，很紧张。李密和他研究，决定“智取”，由翟让带领部分兵力迎击张须陀，李密把大部分兵力埋伏在荥阳大海寺北边的树林里，徐世绩和王伯当分别埋伏在大海寺的两侧，摆成口袋形的阵势，等着张须陀的到来。
翟让按照计划行动，边战边退，把张须陀引入埋伏圈。只听咚、咚、咚三声鼓响，左边徐世绩，右边王伯当，背后李密，一起杀出，把张须陀团团围住。张须陀急忙下令撤退。可是，退路早被截断。隋军乱成一团，被瓦岗军杀得尸横遍野，溃不成军。张须陀也送了命。从此，瓦岗军声威大振。
第二年春天，李密又率领7千精兵，攻下了隋朝设在东都洛阳附近最大的一个粮食仓库洛口仓（又叫兴洛仓），打开仓库，把粮食分给老百姓。人们奔走相告，感谢瓦岗军，纷纷送自己的子弟参加起义军。瓦岗军在很短的时间内就发展到几十万人。
翟让看到李密很有政治眼光，又屡建战功，就把瓦岗军的领导权让给了他。瓦岗军发布了讨伐隋炀帝的檄文，列举了隋炀帝10大罪状，指出：“罄南山之竹，书罪无穷；决东海之波，流恶难尽。”号召人民起来共同推翻隋王朝。