第二天，李世民又找李淵說：“父親受皇上的委派，到這里討伐反叛的人。可是眼看造反的人越來越多，您能討伐得了？再說，皇上猜忌心很重，就算您立了功，您的處境更加危險。只有照我昨天說的辦，才是唯一的出路。”

　　李淵猶豫了許多時候，才長嘆一口氣說：“昨天夜里，我想想你說的話，也有道理。我也拿不定主意。從現在起，是家破人亡，還是能化家為國，就憑你啦！”

　　李淵把劉文靜從晉陽牢監里放了出來。劉文靜幫助李世民，分頭招兵買馬。李淵又派人把正在河東打仗的另兩個兒子李建成和李元吉召了回來。 太原的兩個副留守看到李淵父子的舉動反常，想出來阻撓。李淵借口他們勾結突厥，把他們抓起來殺了。

　　李淵又聽從劉文靜的計策，派人備了一份厚禮，到突厥可汗那里講和，約他一起反隋。突厥可汗覺得這樣做對他們有好處，就答應幫助李淵。

　　李淵穩住突厥這一頭，就正式起兵反隋。李淵自稱大將軍，派李建成和李世民分別做左右領軍大都督、劉文靜做司馬，又把兵士都稱為“義士”。他們帶領三萬人馬離開晉陽，向長安進軍。一路上繼續招募人馬，并且學農民起義軍的做法，打開官倉發糧給貧民。這樣一來，應募的百姓就越來越多了。

　　唐軍到了霍邑（今山西霍縣），遭到隋朝將軍宋老生的攔擊。霍邑一帶道路狹隘，又正趕上接連幾天大雨，唐軍的軍糧運輸中斷了。兵士中還紛紛傳說突厥兵正準備偷襲晉陽。李淵動搖起來，想撤兵回晉陽去。

　　李世民對李淵說：“現在正是秋收季節，田野里有的是糧食，哪怕缺糧！宋老生也沒有什么可怕。我們用義兵的名義號召天下，如果還沒打仗就后撤，豈不叫人失望。回到晉陽，是斷斷沒有生路的。”

　　李建成也支持他弟弟的主張。李淵這才改變了主意，取消了撤兵的打算。

　　八月的一天，久雨剛剛放晴。唐軍一早沿著山邊小路，急行軍來到霍邑城邊。李淵先派建成率領幾十個騎兵在城下挑戰。宋老生一看唐軍人少，親自帶了三萬人馬出城。李世民帶兵居高臨下從南面山頭沖殺下來，把宋老生的人馬沖得七零八落。宋老生急忙回頭想逃回城去。李淵的兵士已經占了城池，把城門關得緊騰騰的。宋老生走投無路，被唐軍殺了。

　　唐軍攻下霍邑以后，繼續向西進軍，在關中的農民軍的配合下，渡過黃河。留在長安的李淵的女兒也招募了一萬多人馬，號稱“娘子軍”，響應唐軍進關。

　　李淵集中了二十多萬大軍攻打長安。守在長安的隋軍，要想抵抗也沒用了。李淵攻下長安以后，為了爭取民心，宣布約法十二條，把隋王朝的苛刻法令一概廢除，并且暫時讓隋煬帝的孫子楊侑（音ｙòｕ）做個掛名的皇帝。

　　第二年（公元６１８年）夏天，從江都傳來了隋煬帝被殺的消息，李淵才把楊侑廢了，自己即位稱帝，改國號為唐。這就是唐高祖。