而李世民则反对，他认为当初起兵就是为了取天下，应当直入关中，号令天下，今天遇上一小敌就回师，追随我们的大臣和将士就会离开我们，更何况退回太原只不过是占有一城罢了，我们就成了盗贼，迟早会被人一锅端了。李建成表示赞成这一观点。
李渊最后还是采纳了裴寂的主张，经历那么多，他早已变得老成持重。离关中还有很远的路，不知还要多少危难，前方不远就是讨厌的宋老生。打下长安最好！问题是打不下来呢？长安要是打不下来，太原又没了，那真的要上山打游击了！或许李世民说的是对的，可李渊不想冒这个险。
所以他当天就命李建成率领他的左军回救太原。李世民得知左军撤回太原，非常惊讶！他连夜去到李渊的营帐想说服李渊。此时已是半夜，李渊睡了。帐外的将士又不让李世民进去。
李世民很无奈，只好蹲在帐外哭，李世民也哭越伤心，越伤心哭的就越大声，恨不得把全军营的人都吵醒陪他一起数星星。李渊就这么活活被吵醒了：“谁吃饱撑着啦？三更半夜不睡觉，跑来这里哭。”
“是二公子！”“喔，请他进来吧！”“没事你哭什么啊！”“现今我们为救黎民百姓而起兵，前进则战必克，而退后，众人就会离我们而去。前面是逃离的将士，后面是强敌，我们被杀是分分钟的事啊！所以我才哭的那么伤悲。”
李渊是个老谋深算的主，他很清楚自己现在的处境。只不过他想先稳固后方再考虑进军，毕竟家里上上下下还有几十口喘气的，一家只都捏在自己手里。
可今晚李世民的话让李渊明白走上这条路就无法回头，只能勇往直前，不成功便成仁，没有第三条路！
李渊同意了李世民主张。命令军队向霍邑开进。可李建成的左军已经走了，现在就只有李世民的右军，一支军队是不可能打下霍邑成的。于是李世民连夜追赶李建成，让他回师。由于超速驾驶，加上夜黑风高，路况不明，李世民在路上出了交通事故，摔落马下。
没有办法，李世民只好擦擦屁股爬起来，这时马也不知道跑到那里去。李世民就靠两条腿一路走，终于找到李建成和他的左军霍邑之战上天似乎并没有大算抛弃李渊，八月三日，雨终于停了，而后方的粮草也随之到达。李渊军进抵霍邑城下。
李渊主动约架，可宋老生不是傻子。放着好好的城池不守，和你在荒山野岭乱砍？
我老年痴呆啊！李渊见宋老生不肯和自己打，也没办法。城是不能攻的，就那么点家当。要是打完了怎么办？那就等吧！我就不信你会呆在城里一辈子。
可是李渊不能等,三万大军是要吃饭的，在霍邑城下多呆一天就得浪费很多粮食，再说李渊要直取长安靠的就是兵贵神速，要是隋朝各郡大军赶来长安勤王，那还不把李渊这三个师给揍个死吖的。
更为重要的是各地反军很多就在不远，比如朔方的梁师都、马邑的刘武周、瓦岗的李密，都离自己不远。其中就以李密最不厚道，前些日子，当李渊还在饿肚子、淋雨的时候，李密遣使送来书信要李渊加盟。所谓加盟说难听点就是归顺，要李渊听他的话。
李密此时已经拥兵数十是万，而且还是各路反军的带头大哥，财大气粗。李渊自然不敢违背李密，好话说了一大堆才占时稳住的李密。大家都是出来混的，凭什么听你的？
李渊苦苦思索，终于心生一计。他命李世民带着几个人到霍邑城下，拿着马鞭指指点点。
宋老生一头雾水：这小子想干嘛？只见李世民带的几个人卷起袖子，勒紧裤腰带，手里拿着家伙，在李世民的指挥下跑到城墙下绕着城池跑。他们在围城啊！
宋老生十分生气，一个二十岁的毛头小子竟然敢这样耍老夫，是可忍，孰不可忍！宋老生打开东门和南门，率军背城迎战！终于上当了！李渊和李建成领军列阵城东，迎战宋老生主力，李世民和姐夫柴绍则列阵于城南。宋老生指挥隋军向城东的李渊和李建成发起冲锋。李建成这时不慎坠马。
宋老生抓住机会，亲率大军扑向李渊和李建成。李渊军不敌，节节败退。此时，城南的李世民率军迂回机动到隋军后方，完成对隋军的夹击。宋老生见情况不妙，准备撤军回城。这时李渊命人喊：“抓住宋老生了，抓住宋老生了。”
隋军信以为真，更无心恋战，纷纷退回霍邑城中，并关闭城门。这帮小子算是捡了一条命，就是可怜了宋老生。当宋老生鼻子不是鼻子、脸不是脸的跑到城门下，才发现城门关闭了。这下这完蛋了，前有城墙后有追兵。宋老生怎么说也是个人才，他灵机一动：“快把绳子扔下来。”
哦！对，不是还有绳子吗？接着您呐！宋老生抓住绳头就往上爬！吃奶的力都使出来了。突然背后不知是谁打黑枪，宋老生还没反应过来就见阎王了。
斩他的大将正是刘弘基，之后我们还会提到他。宋老生死了，霍邑城里的隋军没了带头大哥，坚守没多久，意思意思也就投降了。屈突通大业十三年（616）八月，在得知太原留守李渊起兵反隋，并有可能