李渊也是在这个时候才有了造反的想法，后来因为被其子李世民用计，醉酒后睡了皇帝晋阳宫的宫女这才下定了决心。而其手下部将刘武周兵变造反则是一根导火索，此人夺得马邑之后，不但自称为天子，而且还和北方的游牧民族突厥勾结在了一起，准备南下攻打隋朝的天下。隋炀帝知道了，便怪罪李渊统御不力，要派人把他从太原抓到江都治罪。

李渊知道只要去了江都，就别想再回来了，而他的儿子和部将也看出了其中的风险，于是纷纷劝说他要起兵，终于让他开始行动起来，借故防御刘武周为名，开始四处募兵。然而，他的举动却引起了太原副留守王威的猜疑，此人是隋炀帝特意安插在李渊身边的心腹，对皇帝忠心耿耿，当年隋炀帝对李渊起了疑心之后，本欲行借刀杀人的计策，但是不料敌兵羸弱，李渊非但没有在战争中受到损失，反而因为不断积累战功，还不得不给他升官。

虽然人被关押了起来，但是罪名确实是捏造的，根本没有证据，因而想要杀死副留守一时半会也找不到合适的理由。就在李渊担心迟则生变的时候，突厥大军又一次帮了他的忙，居然真的派出了数万兵众前来围攻晋阳，这下让李渊的心结总算打开，顺水推船就把副留守给拉出去斩首，除去了身边的祸害。接着，他又开始积极谋划，想要起事，首先必须保证周边所有的不稳定因素全部被消除。所以，公元617年六月，他让李建成和李世民进攻不听号令的西河郡，夺下了整个地盘。接着，又巧妙的施展空城计，把气势汹汹前来进犯的突厥大军吓跑了。

基地附近顿时安定，到了七月，他亲自率领数万大军发兵关中，正式造反讨伐大隋，征讨的檄文罗列了隋炀帝的数条罪状，其中包括听信谗言、穷兵黩武等等。而他率领的南下大军也攻势如潮，隋朝大将根本没有人能够抵御，先攻破了霍邑，然后有一路突破渡过黄河，接着又知道屈突通本领不凡，不浪费兵力，对其只是围而不打。剩下的大军转战西南，一路横扫，威风无人能及。故而李渊在十一月初就夺下了长安，拥立隋炀帝的孙子为帝，控制了关中。