如果说李渊在以前只是有想法的话，那后来他到太原担任山西河东抚慰大使以及太原留守后则是明目张胆的开始实施自己的想法。当时的右勋卫长孙顺德、右勋侍刘弘基，为了逃避出征高丽，都亡命在太原，左亲卫窦琮也因犯法而逃到太原，这些犯罪的官员逃到李渊的地方躲避朝廷刑法，李渊也就暗中收留他们。这摆明了就是与朝廷过不去的举措，但是对已有谋反之心的李渊来说再正常不过了，俗话不是说“敌人的敌人就是朋友”吗。
在谋反之前，一贯老谋深算的李渊行事当然更是小心谨慎。史称李渊“素怀济世之略，有经纶天下之心”。大业十二年，杨广南巡，他看到中原空虚，认为反隋时机正在成熟，于是命长子李建成以照顾家属为名，“于河东潜结英俊”，以供己驱用，自己则坐镇太原“密远雄图”。大业十三年初又命次子李世民“于晋阳密招豪友”。一个“密”字，贵穿了李渊起事前的所有行动。
但纸里终是包不住火，李渊的“叛逆之心”还是被他的下属时任马邑郡丞的李靖觉察了，这个李靖就是后来有战神之称的唐朝名将李靖。李靖决定去告李渊，但是当时李渊对太原一带的控制已经非常严密，于是李靖便伪装成囚徒坐上监车混出李渊的势力范围，前往江都，向驻跸在那里的杨广告变。但此时战事四起，中原的交通已被封锁，跑到了长安之后，李靖已无法前行，只好留在了京师。后来李渊起兵迅速占领了长安后，他也就被俘了，李渊对此还恨在心就下令把他斩杀，在临刑前他大叫：“公起义兵。本为天下除暴乱，不欲就大事，而以私怨斩壮士乎！”李世民又大力劝李渊放了他，最后李靖才免于一死，才有后来的战神李靖。
李渊有野心有想法，并在暗中做准备，但是他知道大隋帝国没有表面显得那么败落，如果他过早的出来反对杨广反对大隋，那么他就会像杨玄感一样瞬间被碾碎，最终身首异处。所以他一直蛰伏。等待大隋最弱的机会。当杨广再次南巡带走了绝大部分精锐部队，李密围攻东都洛阳进军中原的时候，他的儿子李世民、幕僚裴寂等人都纷纷劝他起兵，下属刘文静向李世民进言希望他能劝李渊造反他说：如今李密长期围攻洛阳，皇上流离迁徙淮南，跨州连郡的大“贼”与阻碍山泽的小‘盗’已有几万起了，只等待真主驾马驱驰去夺取。果真能够顺应天命人心，举起义旗大呼，则天下不难平定。现今太原郡逃避盗贼的百姓都来到此城之中。我任县令几年，知道哪些人是豪杰之士，一旦互相召呼着聚集起来，以得到十万之众。令尊所领之兵又将近几万，君言出口，谁敢不从？乘虚入关，号令天下。不到半年，帝业成。
但是李渊就是不表态，一直在拖。因为他还没有等到他要的机会。李渊的不表态急死一大帮跟他的手下了，弄得裴寂等人以为李渊是害怕造反，于是他们找来尼姑造了几句谶言在太原城内流传，意图给李渊打气同时做舆论准备。
李渊的副手，河东副讨捕史夏候端，据说善于占卜、会给人看相。他也跑去对李渊说：“今年以来，玉床不安，帝座不稳，一年之内，必有真人崛起，属下思来想去，非君而谁？”
几天之后，李渊的另一手下许世绪，也来凑热闹，他向李渊进言道：“公姓名应于图谶，据四战之地，举事则帝业居，希公图之！”就是说李渊你是应验“李氏当有天下”的人，赶紧起兵吧。
不管儿子与下属怎么劝他，李渊都是坚持自己的等待，直到陇西的薛举造反了，李渊才知道自己不能再等了，该反了。
薛举，河东汾阴人，“容貌瑰伟，凶悍善射，骁武绝伦”。起初，为金城府校尉。当时，陇西群盗蜂起，饥民遍地，金城令郝瑗，招募饥民数千人，派薛举前往讨捕盗贼。薛举与其子薛仁杲及同谋十三人，劫持郝瑗，假称收捕反叛者，将郝瑗等郡县官收监，开仓赈济贫民。随后薛举自称西秦霸王，建元为秦兴。薛举大肆招兵买马，气势很盛，所到之处，无不被攻下的。隋将皇甫绾屯兵一万在枹罕，薛举选精兵二千人偷袭，与皇甫绾军遇于赤岸，还未交战，突然来了暴风雨。开始之时，薛举军处于逆风之势，但皇甫绾却没出击；忽然风向改变，两边一对调，皇甫绾军处于逆风之势，天色昏暗，军中混乱。趁此机会，薛举策马冲前，大队人马紧随而上，隋军大败，于是攻陷枹罕。当时羌人首领钟利俗在岷山界拥兵二万，全部投降薛举，由此兵力大增。不断率军攻占地盘，又攻克鄯、廓二州，数日之间，尽有陇西之地，兵力多达十三万。
兵强马壮的薛举父子准备大举进攻关内长安，这时的李渊知道自己再不反的话，薛举父子就能拿下长安及关中，到时自己再造反的话就难以立足天下了，终于李渊下定决心正式起兵了。
李渊想反，但并不代表他管辖的老百姓会跟着他造反。当时李渊治下的山西，虽偶有盗贼，但老百姓的日子还能过下去。李渊想造反了，还以活下去的老百姓却没有这种不要命的想法。这对于李渊来说，不是好事儿。所以李渊的下属刘文静就想出了一歪招：“诈为敕书，太原、西河、雁门、马邑年二十岁以上，五十岁以下，悉为兵期岁暮集涿郡，击高丽。”
李渊假传杨广的旨意，说杨广要再伐高丽。讨伐高丽，对于当时许多人来说