晋阳起兵后，为了师出有名，李渊散发檄文给诸郡，称自己队伍为“义兵”。但也遭到了某些隋朝地方势力的抗拒，如“太原辽山令高斌廉拒不从命”,并派遣使者星夜赶往江都，向隋炀帝奏报李氏父子举兵的事。隋炀帝本就忌恨李渊据有太原，听到奏报后，非常害怕，于是下令“东都西京，严为防御”,以防李渊势力的进一步扩大。

西河郡亦不顺从李渊。晋阳起兵后的行动决策是非常明确的，那就是要乘虚入关，直取长安，以便控制关中、陇右以争天下。面对隋地方势力的抗拒，李渊的政治头脑非常清醒。他分析当时的形势说： “辽山是守株待兔可得的，不值得焦虑；西河绕山的路是我们必经之地，不能放弃。”李渊要挥师南进，必经西河郡，为了扫清道路，必须首先攻下该地。这也是起兵之后的第一个战役，其成败影响甚大。

于是在大业十三年(617)六月，行前，李渊对李建成、李世民说：“你们年少，没经过大事，先把这个郡的攻克作为你们的表现，你们应当尽力。”李建成、李世民表示，如不能取西河，愿受军法处置。当时，因义兵初举，军队未经训练，李世民等人恐兵士不能卖力攻取，故以军法严律。

“三军闻者，人皆自肃。”这次出兵，李渊还命令太原令温大有与他们同行，并对温大有说： “士马尚少，要资经略，以卿参谋军事，其善建功名也!事之成败，当以此行之。若克西河帝业成矣。”这次出师西河，李建成、李世民迅速攻克该郡，这就更加坚定了李渊进兵关中的决心。师回之日， “即定入关之策”。

李渊西攻关中，除了正面的隋军外，还面临着左侧东都洛阳附近李密的威胁。李密领导的瓦岗军，共有几十万人，所部兵士多是渔民猎户出身，善用长枪。通过战争，他们获取了隋王朝大批的良马，装备精良，同时又拥有洛阳周围的好几个大粮仓，可以说是粮饷充足，因而成为中原地区，也可以说是全国实力最强、影响最大的一支起义军力量，具有举足轻重的作用。

李渊十分担心进攻关中的军事行动，会引起李密的密切注意。而关中的门户——潼关就在洛阳的后面，如果李密率瓦岗军来争夺关中，没几天便可到达，这是李渊的兵力无法对抗的。为了确保能占领关中，避免处于腹背受敌、两面作战的被动地位，李渊在进军途中写信给李密，要求联合。

李密复书李渊道： “与兄派流虽异，根系本同。自唯虚薄，为四海英雄共推盟主。所望左提右挈，勤力同心，执子婴于咸阳，殪商辛于牧野，岂不盛哉!"并要求李渊亲带步骑数千，来河内郡面结盟约。

李密在信中以盟主自居，试图在政治上先声夺人，居于优势地位。这一点李渊是十分明白的，但处于当时的形势下他暂且不作计较，因为李密正与隋东都守兵激战，即使隋兵无法救援关中，也牵制了李密及其部众无法入关。

所以暂时稳住李密，对晋阳义军西入关中的战略行动，是极为有利的。而义军只要能抢先占据关中，就可稳住自己的地位，并将促使全国的政治形势发生深刻的转变。李渊充分地预见到这一点，所以毫不犹豫地决定承认李密为盟主，故贬低自己，高抬李密，以骄李密之志。

李密接信后没有深思，非常高兴，对李渊进兵关中完全采取不闻不问的态度，而集中兵力对付隋军和王世充的军事力量。这是李渊在策略上的又一巨大的胜利，既麻痹了李密，成功地牵制了李密及东都隋军的兵力，又堵住了成皋之道，使隋朝其他地区的官军和山东群雄都无法入关，为李渊父子进入关中和此后经营关中及四川等地区，创造了十分有利的条件。而当山东群雄与隋军逐鹿中原时，李渊父子却稳居关中，毫无顾忌地扫**西北地区的割据武装，同时积蓄力量，观察关东鹬蚌相争之势，准备收渔人之功。

大业十三年七月癸丑日，李渊亲自率三万大军誓师出征，遥尊隋炀帝为太上皇，立代王杨侑为帝，将隋朝的赤色旗帜改为绛白，改朝换代的意图已路人皆知。

西取长安的进军路线是沿汾河东岸南下，直取潼关，而霍邑则是进军途中第一个军事目标。消息传至长安，留守京师的代王杨侑立即命虎牙郎将宋老生率精兵二万屯驻霍邑，同时派左武侯大将军屈突通驻河东，阻截李渊的西进。当李渊的大军行到霍邑西北五十里的贾胡堡，恰逢秋雨连绵，道路泥泞，不得不扎营于贾胡堡。由于秋雨一直不停，李渊不得不派出一部士兵返回太原增运一个月的军粮。

霍邑地形险要，有险可依，守将宋老生有河东的屈突通遥相呼应，是李渊西进关中途中的第一道障碍。这时，军中谣传刘武周联合突厥南下，一时又不能证实谣传是否属实，增运粮食的士兵还没有返回，将士们有些不安。

李渊召集将领商讨对策，裴寂等人都说： “宋老生、屈突通联兵据险，不容易很快攻下。李密虽答应联合，却奸谋难测，突厥贪而无信，唯利是图。武周，事胡者也。太原一方都会，且义兵家属在焉，不如还救根本，更图后举。”

李渊赞同裴寂等人的意见，而李世民则反对说： “武周位极而自满，突厥少信而贪利，虽相附，内实相猜。突厥必欲远利太原，宁肯近忘马邑!武周悉其此势，未必同谋。又朝廷既闻唐国举兵，忧虞不暇，京都留守，特畏义旗。所以骁将精兵，鳞次在近，今若却还，诸军不知其故，更相恐动，必有变生，营之内外，皆为勃敌，于是突厥、武周不谋而至，宋老生、屈突通追奔竞来。进厥面南，退穷自北，还无所人，往无所之，畏溺先沉，近于斯矣。"李世民对形势的分析是正确的，表明了突厥与刘武周尚有存在矛盾的一面，指出了撤退将产生严重的后果。李世民还进一步阐述说：“今来禾菽被野，人马无忧，坐足有粮，行即得众。李密恋于仓米，未遑远略。老生轻躁，破之不疑。定业取威，在兹一决。诸人保家爱命，所谓言之者也。儿等捐躯力战，可谓行之者也。耕织自有其人，请无他问。雨罢进军，若不杀老生而取霍邑，儿等敢以死谢。”

李建成也非常赞成弟弟李世民的意见。

然而，老成持重的李渊，虽然认为李世民讲得有理，却仍然下令大军返回太原。李世民见自己的意见未被采纳，便想要入军帐再次向父亲进言，可是天色已晚，李渊已经就寝，李世民不敢贸然入内。李世民与哥哥伫立在军帐之外，为拔营返还太原的决定而痛惜万分，兄弟二人不禁失声痛哭起来。李渊听到帐外的痛哭声，便将两个儿子召入帐内。李世民再次进谏说： “今兵以义动，进战则克，退还则散；众散于前，敌乘于后，死亡无日，何得不悲!"听李世民这么一讲，李渊也有所感悟，说道： “大军已向北出发，如何是好?”李世民见父亲态度有所转变，说道： “右军严而未发，左军虽去，计亦未远，请自追之。”李渊见李世民如此有见识，有决断，便说：“吾之成败皆在尔，知复何言，惟尔所为。”建成、世民连夜乘马向北进发，将已经出发北上的左军全部追还。丙子日，从太原增运的军粮也运达贾胡堡前线。

李渊集团在贾胡堡前线关于进军与退兵的分歧，关系到西取长安、夺取天下的大局。李世民对于形势的分析和进退利害的论断，并非是危言耸听。在关键时刻，是李世民据理力争和行动上的按兵不动，使得李渊在西进关中的重大决策问题上避免了一次重大的失误，显露出李世民杰出的战略天才，为李渊的西取长安在交战前立了一大功劳。事后，李渊也埋怨裴寂说： “懦夫之徒，几败乃公事耳!"八月已卯日，长久的阴雨天气终于放晴。第二天，李渊下令军中晾晒铠甲行装。第三天，乘着漫天大雾，李渊带领骑兵从东南山旁小路神奇般地出现在霍邑城前，在城东五六里处扎营。霍邑易守难攻，宋老生采取坚守城池、不领兵出击的战略。

李渊的军中攻城装备缺乏，如果久攻不下，将处于不利地位。李建成、李世民知道父亲的忧虑，便建议说： “老生勇而无谋，以轻骑挑之，理无不出。脱其固守，则诬以贰于我。彼恐为左右所奏，安敢不出!"李渊认为这个计谋很好，派出骑兵进至城下，做出攻城的姿态，然后李建成、李世民率数十名骑兵，一面做出围城的样子，一面大骂城中的守兵无能，不敢出战。在辱骂声中，宋老生恼羞成怒，率领三万士兵从东门、南门出战。李渊下令收缩阵地，宋老生误以为李渊畏惧而后退，便引兵前进，在距城下一里处布阵。这时李渊的步兵也相继赶到，列阵与隋军对峙。李渊想要下令军士先吃饭再战，李世民说： “时不可失。”于是，李渊与李建成布阵于城东，李世民布阵于城南。交战后，李渊与李建成的军队向后稍退，李世民与军头段志玄自南原引兵驰下，直冲宋老生的军阵，使之腹背受敌。

“世民手杀数十人，两刀皆缺，流血满袖。”激战时，李世民令军士传呼： “已获老生矣!”宋老生的部队闻听后顿时大乱，争相奔向城门。此时，建成、世民已分别把守住东门、南门。宋老生城门紧闭，退至城脚。此刻，城上守军放下一条大绳索，老生想要攀绳入城，被义军斩于城下。这次大战尸首数里，血流遍野。此刻，暮色已经降临，李渊下令立即登城。由于没有攻城工具，义军将士肉搏登城，终于攻克霍邑城池。霍邑战役的胜利，打开了通往关中的门户；在霍邑战役中，李世民立下了卓越的战功。

攻克霍邑之后，李渊率军继续南下。同年八月初八日入临汾郡，十二日宿营鼓山，绛郡通守陈叔达抵抗，拒守城池，第二天仍被攻克，陈叔达被擒。陈叔达颇有才干，李渊以礼相待，加以录用，让他与记室温大雅同掌机密。

十五日大军抵龙门。这时，刘文静出使突厥回来，并引突厥五百兵士，马两千匹来助。汾阴人薛大鼎对李渊说： “请别攻打河东，只要坐守永丰仓，传命远近，关中就可攻下了。”李渊将要采取这一建议，但诸将请求先攻河东，过去在河东照料过李建成等人的任壤，前来谒见。他长期在河东、冯翊等地任职，颇知关中豪杰的意愿，对李渊说： “关中豪杰皆企踵以待义兵。义师自梁山济河指韩城，逼邰阳，然后鼓行而进。直据永丰，虽未得长安，关中固已定矣。”

当时，农民起义军遍地皆是，在关中的农民起义队伍中，以冯翊、孙华一支力量最强。李渊到达汾阴，写信招安了他。八月二十一日李渊进军至壶口，河滨之民献舟者，日以百数，遂置水军准备渡河。二十四日孙华从邰阳轻骑渡河见到李渊。李渊拜孙华为左光禄大夫、武乡县公，领冯翊太守。然后又派孙华渡河，准备迎接大军渡河。接着又派遣左右统军王长谐、刘弘基及左领军长史陈演寿、金紫光禄大夫史大奈率领步骑六千从梁山渡河，扎营于河西以待大军。李渊嘱咐王长谐说： “屈突通精兵不少，相去五十余里而不敢来战，是明其众不为之用。”但他又认识到屈突通绝不会坐视“义兵”过河而按兵不动，所以，又嘱咐王长谐要见机行事。如果屈突通过河击王长谐，李渊就率军进攻河东；如果屈突通固守，王长谐等人就毁掉河桥，前后夹击他。

到了九月初七日，张伦攻取离石后又下龙泉、文城等郡。这时屈突通果然派兽牙郎将桑显和率精骑数千人攻王长谐军营，王长谐与孙华等人早有准备，设伏分击各个击破，并追奔于饮马泉，桑显和逃入河东城。初十日，李渊率诸军围攻河东，屈突通凭城固守。

河东是战略要地，关中之门户，河东未克，李渊欲引兵西入长安，一时犹豫未决。围攻河东还是西入长安，在李渊集团内部又发生了军事策略上的第二次分歧。裴寂主张先解决河东，然后入长安，认为“屈突通拥大众，凭坚城，吾舍之而去，若进攻长安不克，退为河东所踵，腹背受敌，此危道也。不若先克河东，然后西上。长安恃通为援，通败，长安必破矣”。李世民不同意这种意见，他认为， “兵贵神速，吾席累胜之威，抚归顺之众，鼓行而西，长安之人望风震骇，智不及谋，勇不及断，取之若振槁叶耳。若淹留自弊于坚城之下，彼得成谋修备以待我，坐费日月，众心离沮，则大事去矣。且关中蜂起之将，未有所属，不可不早招怀也。屈突通自守虏耳，不足为虑”。

裴寂的分析有一定的道理，因为河东守敌尚有一定的力量，不可低估，如果长安不克，可能会陷入腹背受敌的境地。但李世民的用兵更具谋略和胆识。第一，他看到了关中的空虚，如果乘其不备，可以一举攻克；第二，他主张用兵神速，这样可以使敌陷于被动。然而其缺点则是轻视了河东守军的力量。在这种情况下，李渊综合了双方意见，取长补短，决定留偏师围河东，牵制屈突通的兵力，自己亲率主力西进关中。实际上李渊的战略决策仍以李世民的勇于进攻为主，辅之以裴寂的意见。

河西郡县听说李渊将渡河，都纷纷降附。朝邑法曹靳孝谟以蒲津、中洋二城降。华阴令李孝常以永丰仓降。京兆诸县亦多遣使请降。九月十二日，李渊率诸军渡河，十六日进入朝邑，住于长春宫。关中士民归之者蜂拥而至。十八日李渊派遣建成、刘文静率王长谐等诸军数万人，屯永丰仓：守潼关以备从东方进攻的军队。

这样以此二路大军对长安形成战略包围，使长安成为一座孤城。此时于志宁、颜师古、李世民妻兄长孙无忌拜见李渊，三人都大有文才，无忌尤有才略，李渊皆按礼叙用。此后，三人皆为李世民所用，成为李世民军事和谋士集团中不可缺少的人物。

屈突通听到李渊西进，留鹰扬郎将尧君素领河东通守，使守蒲坂，自己回师救长安，但为刘文静遏阻，不能前行。时又有隋将军刘纲戍守潼关，屯军于都尉南城，屈突通想要与刘纲合兵。不料刘纲被王长谐引兵偷袭而兵败身亡，屈突通只好退守北城。

当时，李渊的亲戚在关中起兵者，比如，李渊女平阳公主(李渊称帝后的封号),李渊堂弟李神通及李渊女婿(娶高密公主)段伦，都在李渊渡河时遣使迎接李渊。李渊于太原起兵时，柴绍及大平阳公主均在长安。柴绍奉召前往太原，临行前对公主说： “尊公举兵，今一同前往，则不可能，留此又怕遭祸，则何如?”公主说： “你宜速去，我一妇人，容易藏匿。”柴绍遂去太原。公主即回到鄠县别墅，散家财，招引山中亡命之徒，共有数百人，起兵以应李渊。李渊堂弟李神通，因李渊起兵受到牵连，遭隋朝追捕，便潜入鄠县山南，与京师隋朝楷书石刻大侠史万宝、河东裴责力、柳崇礼等人举兵以应义军。当时少数民族出身的农民义军首领何潘仁聚众于司竹园，自称总管。公主派遣家童马三宝向何潘仁说以其中利害关系，劝其与李神通合力攻鄠县，何潘仁深以为然，遂即攻下。一时间李神通有逾万人，自称关中道行军总管，以前乐城长令狐德菜为记室。公主又派马三宝说服起义首领李文仲、向善志、丘师利等人，使他们与自己会合，于是公主率军掠地至整屋，武功、始平皆被攻占，拥众七万余人。营中号为“娘子军”。左亲尉段伦聚众万余人于蓝田。李渊渡河时，李神通、公主、段伦皆遣使以迎。李渊拜李神通为光禄大夫，段伦为金紫光禄大夫。何潘仁、李仲文、向善志及关中的农民起义势力，都降于李渊，李渊予以慰劳并授以官职，皆受李世民节度。

九月二十二日，李渊又亲赴永丰仓劳军，并开仓赈济饥民。然后将大将军府移于冯翊。此时，李世民前往渭北，所到之处，吏民及农民军归之如流，李世民收服其中的豪俊。至泾阳时已有胜兵九万。公主率精兵万余人与李世民会于渭北。隰城尉房玄龄带着计策到军门求见李世民一见如旧识，任为记室参军，引为主要参谋。房玄龄亦自以为遇到知己，罄竭心力，知无不为。每平定一处，众人竞求珍玩，房玄龄先收罗人物，引入幕府，若有谋臣猛将，皆潜相申结，使各尽其死力，这样在李世民周围便形成了一个智囊团体。

李渊又命刘弘基、殷开山分兵西略扶风，南渡渭水，屯长安故城，李世民引兵赴司竹园，李仲文、何潘仁、向善志皆率众从之，屯兵于原秦阿房宫城。胜兵十三万，军令严整。九月二十七日，李世民从盖鄠遣使向李渊汇报，请示会师长安日期。同时，延安、上郡、雕阴皆请降于李渊。冬，十月四日，李渊屯兵于春明门(长安城东面三门中之中门)西北，各军汇集共二十余万。十月四日，李渊遂命诸军围城。二十七日，开始攻城，至十一月九日，军头雷永吉率先登城而入，守城之人各自逃散，遂克长安。李渊与民“约法为十二条，惟制杀人、劫盗、背军、叛逆者死，余并蠲除之”;废除了隋炀帝的一切苛法。

马邑郡丞李靖，有文武才略，但他向来与李渊有矛盾，李渊入城俘虏了李靖并要斩他，李靖大呼： “公兴义兵，本为天下除暴，以成大业，何挟私怨而杀壮士!”李世民为之求情，李靖得到释放。李世民将他召置幕府，后来他成为能征善战、出将入相的英杰。

十一月十五日，李渊立十三岁的代王杨侑为恭帝。改元义宁，遥尊隋炀帝为太上皇。这实际上是魏晋以来权臣夺权称帝的老办法，是改朝换代的第一步。李渊从长乐宫入长安，恭帝以李渊为假黄钺、使持节、大都督内外诸军事、尚书令、大丞相，进封唐王。军国机务、文武设官、宪章赏罚的权力皆归相府，并设丞相府官属，以裴寂为长史，刘文静为司马。以李建成为唐世子，李世民为京兆尹、秦公，李元吉为齐公。

李渊自攻克长安， “于是东自商洛，南尽巴蜀，郡县长吏及盗贼渠帅，氏羌酋长，争遣子弟入见请降”。

义宁二年(618)三月，隋炀帝在江都被其亲信司马德戡和宇文化及所杀，这标志着隋王朝的彻底崩溃。消息传到长安，五月二十日，隋恭帝禅位，李渊即皇帝位于太极殿，是为唐高祖，大赦天下，改元武德，仍都长安。 “推五运为土德，色尚黄。”六月，以李世民为尚书令，相国府长史裴寂为右仆射、知殿事，司马刘文静为纳言，司录窦威为内史令。不久，又立唐世子李建成为皇太子，李世民为秦王，李元吉为齐王。