隋末各路农民起义中，势力最大的有三家，第一是瓦岗翟让、李密，第二是河北窦建德，第三就是江淮杜伏威了。杜伏威是齐郡章丘县人，自幼与辅公佑交好，二人为刎颈之交，江淮军就是他俩一同创立的。
与前二者相比，杜伏威的出身最为贫苦，翟让是小吏，李密是世袭蒲山公，窦建德也算是个小土豪，杜伏威不同，他无财无势，是彻底的贫农出身。杜伏威的起义与贫穷直接有关，杜家贫无以为生，他的好朋友辅公佑挺身而出，偷了人家的羊送给杜伏威。杜伏威不是圣人，虽然知道是贼赃，但为了生存，也就笑纳了。后来这事泄露出去，官府追查得很严，当时正是天下大乱，老百姓纷纷造反，隋炀帝杨广情急之下，采用恐怖手段镇压，允许地方官对这些盗贼“生杀任情”，偷羊不是什么大事，但如果碰到酷吏，偷一文钱就能杀头，何况是偷羊。二人惧怕之下，干脆就不当良民，扯旗造反了。那是大业九年（613年）十二月，当时杜伏威年仅十六岁。
两人就近参加了一支小起义军，刚加入时只是小卒，但杜伏威十分勇猛，出则居前，入则殿后，很快就取得了大家的尊敬和信任，被推为首领，这是杜伏威势力的开始。江淮一带隋朝的力量比较强大，杜伏威意识到自己的小部队实力太弱，如果不尽快壮大就根本无法生存，于是努力寻找机会去联合和吞并附近的其他起义军。比较典型的例子有两个，其一是下邳苗海潮，杜伏威派了辅公佑送信给苗，说力分则弱力合则强，如果你认为能力足够，我就投靠你；如果你认为不如我，就来加入我。苗收信后，帅所部归降杜伏威。另一个例子是海陵赵破阵，赵的实力强过杜，派人到杜处招降，杜假意同意，只带了十几人去赵处投诚并献上礼物，赵一向轻视杜伏威，认为他必然投降，因此毫无防备，结果被杜当场刺杀，辅公佑同时率领大队人马前来接应，赵部群龙无首，当场全部归降。实力大增后，杜伏威自称将军，纵横淮南，江淮杜伏威的名字逐渐传扬出去。
大业十一年（615年）十月，东海李子通率所部万余人来淮南投靠杜伏威。这个李子通也是隋末一家反王，起兵时是依附在长白山（山东境内）左才相手下，后来因为太得人心，被左才相嫉恨，只得离开长白山，这次到淮南其实有些逃难的意味。李子通部的加入使杜伏威实力大增，杜伏威当然高兴，不料李子通也是个胸有大志不肯屈居人下的人，竟然突发兵变，意图吞并杜伏威的地盘。杜伏威措手不及，全军大乱，杜本人在李部追杀下身负重伤，关键时刻，杜伏威的养子兼大将王雄涎背负他藏匿到芦苇丛中，侥幸躲过了追杀。这次兵变，杜伏威的势力受到很大打击，从此与李子通结仇。
所谓祸不单行，趁杜伏威兵败，隋军也前来进攻，杜伏威此时正在养伤，无法指挥，结果全军大败，其部将西门君仪的妻子勇敢而力气大，背着杜伏威夺路而逃，王雄涎领着敢死队拼命断后，杜伏威这才逃得一命。要靠女人背着逃命，其狼狈可想而知，这实在是杜伏威一生中最黑暗的一幕了。唯一值得安慰的是，兵变的罪魁祸首李子通也没好下场，隋军在进攻杜伏威的同时也进攻了李子通，李部也大败，李子通领着残部逃往海陵去了，到底也没能抢走杜伏威的地盘。对杜、李二人来说，这次火拼简直就是鹬蚌相争渔翁得利的绝妙注解，尤其李子通更是损人不利己，平白结下了杜伏威这个可怕的大仇家，为以后杜伏威大举进攻李子通埋下了伏笔。
连续两次死里逃生，杜部伤亡很大，失去了称霸的实力，只好四处打游击，不断吸收流民加入以扩充势力。经过半年的恢复，杜伏威又有了数万人的实力，并控制了江都附近的六合县作为根据地。与此同时，左才相往来淮北，李子通占据海陵，都有数万兵力，江淮一带即以这三家起义军为首。大业十二年（614年）七月，杨广因北方多事，不顾群臣反对，离开长安前往江都巡幸。杜伏威部正好就在江都眼皮底下，为了保障皇帝巡幸的安全，隋派出大将陈陵带八千精锐讨伐杜，陈、杜多次交手，毕竟陈部的训练和器械远强于杜，杜部连连失利。好在陈陵兵力不多，想剿灭杜伏威也不容易，双方打成僵持。
十二月，杨广车驾到达江都，护驾骁果十余万人，声威赫赫。按理隋军应该军心大振，杜伏威难逃灭亡，不料正是杨广的到达给了杜伏威崛起的机会。杨广是皇帝，到了江都自然要考察地方官的政绩，他的考察手段非常简单，专看谁的礼品珍奇，满意的立即升官，不满意的统统没好下场，至于地方官真正的政绩如何，皇帝是没心情去理会的。有这么个皇帝，地方官们自然拼命地刮地三尺，敲诈百姓，所得之金银财宝除了孝敬皇帝，自己的腰包当然也落了实惠。正巧当年是荒年，老百姓本来就已无以为生，再被官府如此压榨，终于造成了一场大饥荒。据记载，老百姓先是吃树皮树叶，后煮土为食，“诸物皆尽，乃自相食。”“自相食”这三个字在中国历史上其实多次出现，但像江都这样原本富庶之地，又是天子脚下，居然也会如此，那实在是少见的。其实当时政府的粮仓里有足够的粮食可以救灾，杨广的父亲杨坚一直很重视国家的粮食储备，就是为了以防万一。如今万一出现了，可皇帝自己正在享受财富和美女，根本不知道城外饿死人，地方官没得到命令，又有谁敢擅自开仓赈济灾民？
既然无法从国家那里得到赈济，老百姓就只有自己动手了，杜伏威趁机吸收了大批手下，势力迅速膨胀。这时杜伏威与陈陵强弱之势已经倒转，于是主动向陈挑战。陈也知道战局不利，因此龟缩不出，任由杜伏威自己去耀武扬威。杜伏威于是派使者给陈送了一套妇女衣裳，并送了陈一个外号叫“陈姥”。是可忍孰不可忍，陈大将军怒火中烧，全军出战。这一仗打得十分激烈，杜伏威亲自上阵，不小心被一员隋将暗箭射中，杜伏威怒吼说“不杀汝，矢不拔！”然后就像夏侯惇一样直冲过去，把那吓呆了的射手斩于马下。这种作战风格简直就是疯狂，结果陈部士气大挫，被打了个全军覆没，“陈姥”单骑逃回江都去了。杜伏威趁势扩大战果，占据了高邮、历阳等重镇，并在历阳自称总管，封辅公佑为长史。
这时的杜伏威吸取了以前的教训，从部队中挑选最精锐的成员组成自己的卫队，称为“上募”，兵力为五千人。杜把上募作为自己的子弟兵，平时非常宠爱，但要求也非常严格，每作战必以“上募”为先锋，战后检查每人身上的伤痕，如伤在背后，即刻处斩，因为那表示其临阵退后。每次战胜，杜伏威都把抢掠到的资财赏给全军，如果手下战死，就以死者的财产甚至妻妾殉葬，因此杜伏威所部皆为杜尽死力，人自为战，所向无敌。杜伏威号令所到之处，江淮间各路小起义军争相归附，郡县纷纷投降，杜伏威的声望和势力不断扩大。
一统江淮
随着势力和地盘的增长，开始有士人投靠杜伏威，依靠这些士人，杜伏威放弃了以前的流寇式战术，开始努力建设自己的地盘。由于本身就深受赋税之苦，杜伏威对领地内只收很低的赋税，同时，可能是出于贫苦农民对贪官污吏的先天仇恨，杜伏威下令凡官吏贪污者无论轻重一律处死，这当然是不太合理，但却使杜伏威得到了人民的支持。
大业十四年（618年）三月，宇文化及在江都发动骁果兵变，昏君杨广被杀。这时杜伏威的势力已十分稳固，宇文化为拉拢杜伏威，派人封杜伏威为历阳太守，结果被杜伏威嗤之以鼻。杜伏威反而上表于洛阳的皇泰主，自称为臣，皇泰主封杜伏威为东道大总管，楚王。随后宇文化及留陈陵部守江都，自己率十万骁果返回长安，江都一带基本成为势力真空。
这时在江都周围有三大势力，分别是杜伏威、李子通和沈法兴。这沈法兴是江南世家，任吴兴郡守，打着为杨广报仇的旗号聚众造反，靠着家族的号召力，短时间内就发展到七万余人，并占领了江都南方重镇毗陵。杜伏威据厉阳，李子通据海陵，沈法兴据毗陵，三大势力都对江都虎视眈眈。
唐高祖武德二年（619年）九月，李子通先下手为强，率主力围攻江都。陈陵兵微将寡，只得分别向杜、沈求救。二人均不愿李子通占领江都，于是都派出援军，杜伏威是亲自领兵，沈纶则派出自己的儿子沈纶。如果只有一方派出援军，也许事情就简单得多，但既然双方都来了，结果就是谁也不动手，大家互相观望。李子通抓住杜、沈双方互不信任的弱点，派出小部队化装成沈部夜袭杜伏威，杜果然上当，怒火中烧之下立刻突袭沈部，两路援军先打成一团。李子通于是得以全力进攻江都，陈陵势不能支，弃城而逃，投奔杜伏威去了。李子通占领江都后，以得胜之师进攻沈纶，沈兵战败逃走。三大势力中本以杜伏威兵力最强，结果反而让李子通取巧占领了江都，杜伏威对此深恶痛绝，但大局已定，也只好愤愤收兵。李子通随即自称皇帝，国号吴。
这时李渊已经自称皇帝，建立唐朝，消灭了关西的割据势力薛举、李轨，开始谋求关东。李渊派出使者向杜伏威招降，杜就于武德二年（619年）九月宣布归降唐朝，受封为淮南安抚大使，后来又逐步升官到东南道行台、尚书令、楚王，最后在武德三年（620年）升级为总管江淮以南诸军事、吴王，赐姓李。当然，这种归降只是名义上的，李渊此时不可能来干涉杜伏威的事务，所以杜伏威仍然是一家独立势力。杜伏威为何在此时降唐，其理由历史中没有明确记载，当时李唐的势力还没有达到一统天下之势，比杜自己也强不了多少，其老巢太原正被刘武周猛攻，河北窦建德、河南王世充也正在蚕食唐朝的地盘，别说统一，连李渊自己的生死都还是个未知数。杜伏威居然在此时降唐，应该说实在是眼光独到。不过由此可见，杜伏威此人并无天下大志，其起义只是形势所迫，所图的和翟让一样，只是在乱世中保全一方而已。
武德三年（620年）是乱世的高潮，天下局势已经明朗，李渊、王世充、窦建德三足鼎立之势已基本形成，三巨头之间摩擦不断，时刻准备决战。其他中小势力为求生存，也加剧了彼此的兼并，都力图在短期内壮大自己以增加自保的能力或归降的筹码。在这种背景下，李子通全力进攻沈法兴，渡江攻克了沈的重镇京口，又击杀了沈派来迎击的大将蒋元超，沈主力丧失殆尽，只得放弃丹阳、毗陵，逃回吴郡老家。趁李、沈交战，杜伏威以辅公佑为主将，阚陵、王雄涎为副将，领数千精锐进攻李刚夺取的丹阳。可能是时机没掌握好，沈法兴也败得太快，李子通得以亲率主力数万迎战，军容极盛。辅公佑眼看寡不敌众，情急之下使用了杜伏威对“上募”的那套手段，辅挑选千人持长刀为前锋，又以千人紧随其后，自己领其余兵力再紧随其后，宣言说，前阵有退后者，后阵斩之。江淮军本就剽悍，再有如此严酷的军法，自然人人奋勇向前，尤其前锋的长刀阵更是有进无退。双方一接战，李子通部气为之夺，当即败退。辅公佑忘记了自己兵力过少，下令追击，结果反而被逼急了的李部击败，从追击者沦为逃跑者。当夜，李子通因取胜而轻敌，扎营不设防备，王雄涎力劝辅公佑夜袭，辅过于谨慎不敢出击，王干脆擅自领了几百人自行出击。王部在李子通营中大肆纵火，李部猝不及防，大败溃散，几万人一夜间散个干净。这一仗是杜伏威与李子通的决战，关系到江淮的霸业，杜先胜后败最后全胜，戏剧性地击破十倍于己的李子通主力，着实狠狠出了当年被李子通袭击几乎丧命的恶气。战败后，李子通守不住江都，只得主动撤往京口，又逃往太湖，江西之地尽为杜伏威所有。李子通随即收集余部，又聚集了两万余人，这时李的地盘已归杜所有，实力又远不如杜，因此只好向比自己更倒霉的沈法兴下手。李部突袭沈法兴的老巢吴郡，沈根本没来得及恢复元气，自然不是李的对手，结果只剩几百人逃了出来，打算投奔同乡闻人遂安，不料又和闻人所部起了冲突，沈落水溺死，江淮三大势力之一的沈法兴就此了结，从起兵到灭亡仅三年时间。
李子通灭沈法兴后势力又有所恢复，为永绝后患，杜伏威于武德四年（621年）十一月派王雄涎进攻李子通。李领精兵据守独松岭与王相持，王看出李色厉内荏，派人多造旗鼓，夜间则虚设灯火，尽力制造数十万大军的假象。可能是上次被夜袭留下了严重的心理阴影，李子通草木皆兵之下，居然自行烧了营帐，连夜全军撤退。王追击到杭州城下，李部崩溃，李子通穷蹙投降，被杜伏威献俘给李渊，就此被软禁在长安。可怜李子通辛辛苦苦灭了沈法兴，最后居然是为杜伏威做了嫁衣。李子通此人善于收服人心，抚慰士卒，因此能多次败而复振，成就一番事业，可惜碰上了杜伏威这样的大敌，只好怨生不逢时了。而且追究起来，还是李子通先去找杜伏威麻烦，早知道当年手脚干净些多好！
消灭李子通后，杜伏威又派王雄涎进攻江淮间其他独立势力。这时杜已是江淮霸主，其老板李渊更已经消灭大敌王世充、窦建德，天下大势已定，因此各势力如汪华、闻人遂安等纷纷投降，杜伏威完成了江淮的统一，尽有淮南江东之地。
退居二线
武德五年（622年）夏，秦王李世民率部镇压窦建德余部刘黑闼和徐圆朗，徐的地盘与杜伏威接壤，李世民借攻击徐圆朗之机，陈兵杜伏威境上耀武扬威。当此之时，隋末蜂起的各路反王大多已经烟消云散，幸存的梁师都、高开道、徐圆朗之辈或地处边疆，或灭亡在即，唯一还能对李唐构成威胁的就是杜伏威了。自古异姓封王，即便功臣如韩信、英布，大多都为人所忌，不得好死，何况杜伏威只是个归顺的反王。杜自然明白李世民的用意，心中十分不安，担心成为李唐下一个进攻目标。
为免嫌疑，杜索性上书李渊，请求入朝。所谓入朝就是地方诸侯进京朝见天子，这一招是地方诸侯表白自己绝无反意的惯用伎俩，等于以身为质，一般来说，皇帝也就相信诸侯的一片忠心。当然这一招也是皇帝检测诸侯忠心的重要手段，历史上有不少的诸侯反叛就是因为皇帝强征诸侯入朝，诸侯怕皇帝加害才惧而反叛。李渊收到报告后自然高兴，批准杜伏威入朝，于是杜将江淮军交给义子王雄涎，自己带了少数亲信于当年七月到长安朝见李渊。
其实如果杜不肯主动入朝，只怕李渊下一步就是下旨要杜伏威进京聊天儿了，如果杜敢抗命，那不臣之心就昭然若揭，李世民的大军就可以名正言顺地长驱直入。杜的主动献忠心让李渊很是满意，同时也是为了在天下人面前做个样子，李渊加封杜伏威为太子太保，位在齐王元吉之上。不过江淮是不让杜伏威回了，就这样把杜伏威留在长安养尊处优，说是软禁应该也不过分，只是不知杜伏威本人是否满意。
这时在长安受到软禁的还有一个人，说起来也可以算杜伏威的老朋友了，那就是当年的吴国皇帝李子通。李于武德四年年底（621年）被杜伏威所擒后就被送到长安向李渊献俘，李渊也没难为他，在长安给了他套房子，还安排几个佣人照顾他起居，就让他过着平民的小康生活。这种待遇比起窦建德、萧铣、李轨那几位被当即处斩的，简直就是天上人间。但人是不知足的，尤其政治家更是如此。李密当年就是不满李渊给的待遇太低而反出关外，李子通如今也对现状大大不满，一直等机会去走李密的老路。如今看到杜伏威为羁縻于长安，李子通料想江淮军没了首领，江淮的局势一定不稳，自己正可趁此良机回去浑水摸鱼，集合旧部东山再起。李子通此人待下宽厚，能得士卒之心，如果让他逃回去，也许真能东山再起。可惜的是，李子通逃到蓝田关时不幸被守关士兵发现，束手就擒后又被押回长安。李渊这次没再手下留情，给了李子通与李密相同的下场。
果然如李子通所料，杜伏威离开后，江淮军出了大乱子。当年创立江淮军时，最高领袖是杜伏威和辅公佑两个人，二人自幼为友，长大后又共同起义打天下，号称刎颈之交，辅比杜年长，杜就称辅为兄，军中称辅公佑为“辅伯”，辅的地位与杜相当。但随着势力的壮大，在权力的诱惑下两人的友谊终于出现了裂痕，杜伏威认为辅公佑的地位过高影响了他的领导权，因此夺去了辅的兵权，只让他担任位高而无权的仆射一职。辅公佑对此心中不平，于是借口与故友左游仙学神仙术，主动退出权力之争，平时不理政务。杜伏威临去长安时，将政务交给辅公佑，而将军一职交给了自己的心腹义子王雄涎，同时秘令王监视辅。当年的好友如今竟成了提防的对象，个人的感情在政治面前真是脆弱不堪一击。
辅公佑毕竟不是甘心屈居人下的人，杜伏威一走，他就和左游仙密谋发动兵变。唯一的障碍就是王雄涎，王雄涎是杜伏威的义子和最宠爱的大将，绝对忠于杜伏威，王雄涎手握江淮军军权，不除掉他兵变就不可能成功。辅于是使出反间计，伪造了杜伏威的笔迹写信给王雄涎，信中无缘无故地责备王有二心。王雄涎在战场上是有勇有谋的良将，但讲到政治斗争就不是对手了，收信后王非常伤心，就此托病在家不再插手军务，大概是想以实际行动向杜伏威证明自己的忠心耿耿绝无二心。王的行为正中辅公佑下怀，辅就势接管了江淮军，又伪造了杜伏威密令，说在长安受到虐待，要辅公佑起兵造反。以辅公佑在江淮军中的号召力，加上又有杜伏威的密令，兵变非常顺利，江淮军于武德六年（623年）八月宣布脱离李唐重新独立，辅公佑自称皇帝，国号宋，以左游仙为兵部尚书。
直到辅公佑派人到王雄涎家中劝王归顺，王才终于明白自己上当受骗，但大势已去，已无法阻止。王尽忠于杜伏威，严词拒绝了辅公佑的劝降，终于被辅杀害。后来李渊和李世民感于王雄涎的忠心，封了王的儿子为郡公，其子后来做到安西大都护。
自己的旧部造反，杜伏威在长安的日子自然可想而知，历史中倒也没有记载李渊是否因此而怪罪或处分杜伏威，但寄人篱下如坐针毡的滋味恐怕是免不了的。武德七年（625年）二月，杜伏威在长安暴卒，死因不明。据《新唐书》记载是杜伏威好长生药，误服云母中毒而死，只怕中毒是有的，但如何中的毒就很难说了。
武德七年（624年）春，唐军以赵郡王李孝恭为帅，李靖、李世责力、阚陵为将对辅公佑发起总攻。这个阚陵也是杜伏威的义子，与王雄涎并称“双雄”，杜伏威入朝时与杜同去长安，因而逃过辅公佑的兵变。阚陵在江淮军中以勇武著称，平时负责军纪，有违反者无论亲疏一律法办，因此在江淮军内威望极高。两军对垒时，阚陵直接冲过去，摘掉头盔向对方大喝，“汝不识我邪？何敢来战！”江淮军军心散乱，甚至有就此投降的，这一段应该可以媲美《三国演义》里张飞在当阳桥的表现了。
唐军兵强将勇，辅公佑连吃败仗，终于在武德七年（623年）三月投降，随后被处以死刑。大概是不甘心一个人上路，辅公佑向唐军主帅李孝恭揭发杜伏威才是谋反主谋，有密令为证，就是这回来的阚陵也是谋反中人，相信如果不是王雄涎已死，连王也会列入同谋名单。正好此前李孝恭在没收反贼家产时把杜伏威和阚陵的私产一并没收了，阚陵刚为此和李孝恭吵了一架，李孝恭趁此良机，就以谋反罪将阚陵处死，可怜阚陵被捕前还以为自己破辅公佑有功等着论功行赏呢。阚陵是江淮军最后一员大将，随着他的死亡，江淮军从此烟消云散。
李孝恭随即禀报李渊，说发现杜伏威才是谋反的幕后主谋，人证物证俱全，于是李渊动手剥夺了杜伏威的官职爵位，抄了杜伏威的家。直到李世民即位，才“发现”杜伏威和阚陵惨遭诬陷，为二人平反恢复了名誉。