非常道以往若有人篡夺皇位，大都亟欲壮大自己的势力，如遇其他谋反力量，便想方设法与之联合。但李渊却反其道而行。
李渊的祖父叫李虎，是后魏左仆射，封陇西郡公，官至太尉，成为著名的八柱国之一，位极尊贵，死后被追封唐国公。他的父亲是李晒，袭封唐国公，北周时任安州总管、柱国大将军。公元566年，李渊出生于长安，不久由于祖父和父亲的地位，也被世袭唐国公。
隋朝初年，李渊为荥阳、楼烦二郡太守，很快又被任命为殿内少监。公元613年，升为卫尉少卿。就在这一年，隋炀帝杨广不顾大臣的极力反对，发动了侵略高丽的战争，李渊便受命在怀远镇负责督运粮草。此时的李渊早就有了反隋的念头。
恰好当时民不堪苦，怨声载道，大贵族杨玄感便乘机利用人民的不满情绪，起兵反隋。这对于同样想谋求反隋的李渊来说可以说是一个绝好的机会，他大可以借机与杨玄感进行联合，壮大自己的势力。
但是，让人纳闷的是，他不但没有这样做，反而飞书将此事奏闻给杨广。杨广知道后大为震惊，对李渊更加重视和信任，于是他便命李渊镇守弘化郡（今甘肃庆阳县）兼知关右诸军事，以备抵御杨玄感。杨玄感寡不敌众兵败如山倒，李渊留守如故。在这期间，李渊利用这个机会广树恩德，结纳豪杰。
公元617年，李渊再次被任命担任太原留守。太原是军事重镇，不仅兵源充沛，而且粮饷丰厚，军粮可供十年之用，因此李渊十分高兴，意欲在太原发展自己的势力，以图大举。
李渊刚到太原之初，有“历山飞”农民起义军结营于太原之南，上党、西河、京都道路都被断绝。李渊又没有与之联合，而是再次出兵击败义军，从而巩固了自己在太原的统治地位。
晋阳一带的官僚、地主、豪绅也纷纷投靠李渊。李渊又命次子李世民在晋阳密招豪杰，倾财赈施，广纳贤才。其长子李建成也在河东暗中交结英俊，发展势力，而此时的杨广又远在江都，沉湎酒色，鞭长莫及。李渊便在太原韬光养晦等待时机。