大业十三年七月癸丑日，李渊亲自率三万大军誓师出征，遥尊隋炀帝为太上皇，立代王杨侑为帝，将隋朝的赤色旗帜改为绛白，改朝换代的意图已路人皆知。
西取长安的进军路线是沿汾河东岸南下，直取潼关。而霍邑则是进军途中第一个军事目标。消息传至长安，留守京师的代王杨侑立即命虎牙郎将宋老生率精兵两万屯驻霍邑，同时派左武侯大将军屈突通驻河东，阻截李渊的西进。当李渊的大军行到霍邑西北五十里的雀鼠谷至贾胡堡，恰逢秋雨连绵，道路泥泞，不得不扎营于贾胡堡。由于秋雨一直不停，李渊不得不派出一部分士兵返回太原增运一个月的军粮。霍邑地形险要，有险可依。守将宋老生有河东的屈突通遥相呼应，是李渊西进关中途中的第一道障碍。这时，军中谣传刘武周联合突厥南下，一时又不能证实谣传是否属实，增运粮食的士兵还没有返回，将士们有些不安。李渊召集将领商讨对策，裴寂等人都说：“宋老生、屈突通联兵据险，未易猝下。李密虽云联合，奸谋难测，突厥贪而无信，唯利是图。武周，事胡者也。太原一方都会，且义兵家属在焉，不如还救根本，更图后举。”
李渊赞同裴寂等人的意见，而李世民则反对说：“武周位极而自满，突厥少信而贪利，虽相附，内实相猜。突厥必欲远利太原，宁肯近忘马邑！武周悉其此势，未必同谋。又朝廷既闻唐国举兵，忧虞不暇，京都留守，特畏义旗。所以骁将精兵，鳞次在近，今若却还，诸军不知其故，更相恐动，必有变生，营之内外，皆为勍敌，于是突厥、武周不谋而至，老生、屈突追奔竞来。进厥面南，退穷自北，还无所入，往无所之，畏溺先沉，近于斯矣。”
李世民对形势的分析是正确的，表明了突厥与刘武周尚有存在矛盾的一面，并由此指出了撤退将产生严重的后果。李世民还进一步阐述说：“今来禾菽被野，人马无忧，坐足有粮，行即得众。李密恋于仓米，未遑远略。老生轻躁，破之不疑。定业取威，在兹一决。诸人保家爱命，所谓言之者也。儿等捐躯力战，可谓行之者也。耕织自有其人，请无他问。雨罢进军，若不杀老生而取霍邑，儿等敢以死谢。”
李建成也非常赞成弟弟世民的意见。
然而，老成持重的李渊，虽然认为李世民讲得有理，却仍然下令大军返回太原。李世民见自己的意见未被采纳，便想要入军帐再次向父亲进言，可是天色已晚，李渊已经就寝，世民不敢贸然入内。李世民与哥哥伫立在军帐之外，为拔营返还太原的决定而痛惜万分，兄弟二人不禁失声痛哭起来。李渊听到帐外的痛哭声，便将两个儿子召入帐内，李世民再次进谏说：“今兵以义动，进战则克，退还则散；众散于前，敌乘于后，死亡无日，何得不悲！”
听世民这么一讲，李渊也有所感悟，说道：“大军已向北出发，如何是好？”
李世民见父亲态度有所转变，说道：“右军严而未发；左军虽去，计亦未远，请自追之。”
李渊见世民如此有见识，有决断，便说：“吾之成败皆在尔，知复何言，惟尔所为。”
建成、世民连夜乘马向北进发，将已经出发北上的左军全部追回。丙子日，从太原增运的军粮也运达贾胡堡前线。
李渊集团在贾胡堡前线关于进军与退兵的分歧，关系到西取长安、夺取天下的大局。李世民对于形势的分析和进退利害的论断，并非是危言耸听。在关键时刻，是李世民据理力争和行动上的按兵不动，使得李渊在西进关中的重大决策问题上避免了一次重大的失误，显露出李世民杰出的战略天才，为李渊的西取长安在交战前立了一大功劳。事后，李渊也埋怨裴寂说：“懦夫之徒，几败乃公事耳！”
八月已卯，长久的阴雨天气终于放晴。第二天，李渊下令军中晾晒铠甲行装。第三天，乘着漫天大雾，李渊带领骑兵从东南山傍小路神奇般地出现在霍邑城前，在城东五六里处扎营。霍邑易守难攻，宋老生采取坚守城池、不领兵出击的战略。李渊的军中攻城装备缺乏，如果久攻不下，将处于不利地位。建成、世民知道父亲的忧虑，便建议说：“老生勇而无谋，以轻骑挑之，理无不出；脱其固守，则诬以贰于我。彼恐为左右所奏，安敢不出！”
李渊认为这个计谋很好，派出骑兵进至城下，做出攻城的姿态，然后建成、世民率数十名骑兵，一面做出围的样子，一面大骂城中的守兵无能，不敢出战。在辱骂声中，宋老生恼羞成怒，率领三万士兵从东门、南门出战，李渊下令收缩阵地，宋老生误以为李渊畏惧而后退，便引兵前进，在距城下一里处布阵。这时李渊的步兵也相继赶到，列阵与隋军对峙。李渊想要下令军士先吃饭再战，世民说：“时不可失。”于是，李渊与建成布阵于城东，世民布阵于城南。交战后，李渊与建成的军队向后稍退，世民与军头段志玄自南原引兵驰下，直冲宋老生的军阵，使之腹背受敌。“世民手杀数十人，两刀皆缺，流血满袖”。激战时，世民令军士传呼：“已获老生矣！”宋老生的部队闻听后顿时大乱，争相奔向城门。此时，建成、世民已分别把守住东门、南门。宋老生城门紧闭，退至城脚。此刻，城上守军放下一条大绳索，老生想要攀绳入城，被义军斩死于城下。这次大战陈尸数里，血流遍野。此刻，暮色已经降临，李渊下令立即登城。由于没有攻城工具，义军将士肉博登城，终于攻克霍邑城池。霍邑战役的胜利，打开了通往关中的门户。在霍邑战役中，李世民立下了卓越的战功。
李渊在进入霍邑后登城视察战场，他面对城下倒伏的无数尸体，动情地对左右亲随说：
河东已来，孤之所使，百姓见义旗有诚节，老生所逼，至于涂炭。乱兵之下，善恶不分，火烧昆山，谁论玉石？无妨死人之内，大有赤心于我者也。取来不得，及此战亡，生未被知，没有余恨，静而思之，良深痛惜。从今已去，当以文德来之，不复用兵戈矣。
其破霍邑，攻战人等有勋者，并依格赏受。这是李渊作为52岁的政治家投入群雄竞争的特殊表现。他面对大战获胜的壮观景象，并不是为自己的成功而庆幸，而是为大量无辜牺牲者而惋惜，并且表示痛心。尤其他提出战胜之后，将用“文德”取代武功，更是对建立新王朝大政方针的考虑。唐太宗李世民后来取得了贞观之治的政绩，其成功经验中最重要的就是要“偃武修文”，很明显是受了父亲李渊的思想影响。李渊在起兵以后，总是想着下一步应该怎样做才好？这样他的行动，总是比其他人更受理性指导。从这个意义上说，他的成功绝非偶然。
胜利之后的重要事情之一是要犒赏三军。主管论功行赏的官吏请示参加义军的奴隶立了功该如何行赏？李渊说：“矢石之间，不辨贵贱，论勋之际，何有等差？宜并从本勋授。”这样对扩充他的军队起了重要作用，人们传说李渊对部下不问出身，一视同仁，即使是奴隶，只要有功，可以和自由身分者一样受赏，这样，李渊进军长安沿途，有大批人马加入他的军队，军事实力在进行统一天下的战争中不断增强。
李渊为了进一步扩大影响，又对隋朝原来官吏既往不咎。他在进入霍邑与宋老生部下官员见面时说：“除了宋老生之外，我不会责罚任何人的。即使你们中间有人不肯归顺我，我仍然会以赤诚之心对待。”说完，李渊宣布给霍邑原隋朝旧官吏重新授官，和在太原起兵时从军者同样待遇。霍邑隋军中有许多人发现他们现在衣食无着，不得不请求参加李渊的义军，李渊宣布全部编入自己军中，没有任何防范措施。为消除这些隋朝旧官吏和军人的疑虑，李渊还以礼厚葬了宋老生，这样一来，前来参加李渊军队的人络绎不绝，李渊把大量隋朝的残余力量都收归己用，取亡隋而代之的面目渐渐显露出来了。有人认为李渊对前来归降的隋朝官员授官品太高，如李渊规定只要是关中人愿随义军进军关中，即授五品官，这样授官太容易了，有过滥之嫌。李渊想自己的部下还不懂得他这是为夺取关中创造条件，于是做了一番解释，如《大唐创业起居注》卷二所载：
不惜爵赏，汉氏以兴。比屋可封，唐之盛德。吾方稽古，敢不遵行？天下之利，义无独飨。率土皆贵于我，岂不益尊乎？且皇隋败坏，各归于此。雁门解围之初，东都援台之勋，在难即许大夫，免祸则唯加小尉。所以士无斗志，将有堕心。版荡分崩，至于今日。覆车明鉴，谁敢效尤？然亦使外寇觊觎之徒，尝授无过此也。又加官慰抚，何如用兵杀戮？好生任赏，吾觉其优。当以不日而定天下，非卿等小见所及。在李渊看来，官职是一种夺取政权的手段，人们之所以加入自己的军队，在很大程度上是为了取得高官厚禄，把这些许诺说在前面，有利于动员这些人为自己卖命。李渊的军队在太原起兵后得到重要发展，与李渊善于收揽人心有着极大的关系。