义宁二年（618年）三月，隋炀帝在江都之变中被禁军将领杀死。此后，李渊加紧了篡夺皇位的进程。同月戊辰日，隋恭帝进拜李渊为相国，总司百揆，享受九锡之礼。五月乙巳日，隋恭帝命李渊佩戴十二旒冕，建天子旌旗，“出警入跸”。戊午日，隋恭帝被迫下诏禅位。甲子日（6月18日），李渊即皇帝位于长安太极殿，国号为唐，建元武德，定都长安，是为唐高祖。李渊建唐后，以李世民为尚书令。不久，又立李建成为皇太子，封李世民为秦王，李元吉为齐王。
李渊接受“禅让”后，对前朝后裔较为优待。他下诏封隋恭帝为酅公，并封北周后代为王，进一步强调李唐取得政权的合法性。
扫除群雄
李渊称帝时，群雄纷争。唐朝疆土只限于关中和河东一带，尚未完全统治全国。面对这一形势，李唐的战略方针是，首先巩固关中根据地，然后进军关东，逐步统一全国。因此，李渊频频派遣李世民、李建成及李元吉等人出征，逐步消灭各地割据势力。
扫荡北方
隋末动乱之际，河东人薛举在金城起兵反隋，自称西秦霸王，后称帝。他据有陇西之地，拥兵号称三十万。[78]唐军入长安后，薛举攻扶风（今陕西凤翔），被李世民击败。武德元年（618年）六月，李世民率军攻打薛举，因病退回后方休息，接替指挥的行军长史刘文静、司马殷开山自恃人多而不设备，为薛举所袭击，在高城（今陕西长武西北）遭遇大败。八月，薛举派他的儿子薛仁杲围攻宁州，为宁州刺史胡演所击退。同月，薛举病死，其子薛仁杲袭位。李渊一面向盘据凉州（今甘肃武威）的李轨修好，一面再命李世民为元帅抗击薛仁杲。十一月，李世民大败薛仁杲，将其俘杀，平定了西北广大地区。
李轨割据一方后，内部矛盾激化，自相残杀，人心不附。李渊曾通过李轨的部将安兴贵居中联络，试图劝降李轨，但未果。武德二年（619年）初，安兴贵、安修仁兄弟引胡人发动兵变，俘获李轨，将其交往长安斩首。自此，河西走廊平定。同年，剽掠汉水、淮河之间的朱粲请降，被李渊封为楚王。不久后，朱粲又杀死唐使段确，投奔王世充。
正当唐廷经营西北的时候，代北的刘武周大举进攻太原，唐军战败，留守太原的李元吉弃城逃走。刘武周部将宋金刚南下攻取浍州（今山西翼城），兵势直达夏县、蒲坂，关中震骇。李渊“悉发关中兵”，命李世民统领抵御。李世民自龙门渡河，驻军柏壁（今山西新绛西南），与宋金刚部僵持五个月之久，到武德三年（620年）四月，唐军乘宋金刚军粮匮乏，向北撤退的时机，迅猛追击。在吕州（今山西霍县）、介休（今属山西）一带，经过几次激烈的战斗，大败宋金刚。宋金刚和刘武周一起逃往突厥，后被突厥杀死。[71]唐军完全占领了山西地区，巩固了关中根据地，扫除了进兵关东的障碍。[58]
刘武周败亡时，关东形势发生了很大的变化。以李密为首的瓦岗军，遭到洛阳王世充的沉重打击，已经失败降唐，后来李密又因图谋东山再起，被杀死。此时，黄河流域形成据有河北地区的夏政权窦建德、在洛阳自称郑帝的王世充与唐朝三足鼎立之势。
武德三年（620年）七月，李世民奉命率领大军出关，进攻王世充。李世民屯军北邙山（今河南洛阳北），指挥各军对洛阳采取大规模的包围形势。洛阳虽有坚城利器，但围困既久，粮食短缺，死者相属。王世充面对强敌，几次派人向窦建德求援，窦建德起初颇存观望，意图坐收渔人之利。后来看到洛阳十分危急，认为“郑亡则夏不能独立”。于是在武德四年（621年）三月率兵援救洛阳。李世民采取“围郑击夏”的策略，亲率精锐，驰往武牢，据险御敌。窦建德迫于武牢之险，无法前进。留屯累月，军心懈怠，最后兵败被俘。王世充见大势已去，投降了唐军。李世民一举消灭了窦、王两大劲敌，加速了统一关东地区的进程。
随后，李渊下诏流放王世充，却决意杀死深得民心的窦建德，又强征窦建德旧将范愿、董康买、曹湛、高雅贤、王小胡等人到长安，使河北地区人心不稳。同年七月，窦建德旧部刘黑闼等聚众起兵。刘黑闼等多次击败唐军，突厥也派兵相助，声势大振。不到半年，便全部恢复了窦建德原先的地盘。唐兖州总管徐圆朗等也举兵响应。
武德五年（622年）正月，李世民自请出征，挫败刘黑闼。三月，李世民在洺水之战大破刘黑闼，使其逃奔突厥。这次唐军虽然赢得了战争，仍然没有赢得河北的人心。六月，刘黑闼借得突厥兵再起，侵犯山东。唐军征讨不利，河北诸州重新叛乱。十一月，李渊派李元吉出征。但李元吉逗留不前，李渊命李建成赶赴前线，督军作战，至次年（623年）二月大破刘黑闼。刘黑闼败走后被俘斩，徐圆朗闻知其死讯亦出逃被杀，河北重新平定。
武德七年（624年），河北起义军首领高开道为其部将张金树所杀，张金树以地降唐。
宫闱惊变
太穆皇后窦氏生有四子，除第三子李玄霸早夭外，长子李建成为皇太子，为人宽厚有干才，辅助高祖处理政务，稳定后方，支援前线，起过重要的作用。而秦王李世民在晋阳起兵中是首功，且经常领兵出征，战功卓著，为唐政权的建立与巩固做出重大贡献。随着李世民威望的提高，他与李建成之间便产生了皇位继承权的斗争。在这个斗争中，齐王李元吉支持李建成。同时，李渊的优柔寡断，也使朝中政令相互冲突，加速了诸子的兵戎相见。