但，杨坚并没有立刻就攻打陈国，584年的陈国，还没被陈叔宝彻底败完，加之有长江这道天堑，于是杨坚继续推行均田制和租调力役制，在中央建立三省六部制，在地方推行州、县制，改革府兵制等措施，以利于发展社会经济，加强中央集权，提高军队战斗力。
在585年（隋开皇五年，南陈至德三年，西梁天保二十四年），杨坚以清河公杨素为倌州总管，经略长江上游。同时在三年内，动员数十万人修缮朔方（治岩绿，今内蒙古乌审旗南白城子）、灵武（治回乐，今宁夏灵武西南）一带长城，并于朔方以东缘边险要，筑城数十，以加强北部边防，保障南进时后方无忧。
又在开皇七年（587年），废西梁后主萧琮，占领江陵，西梁亡。隋国的势力已经过了长江，逼到了陈国的家门口，此时，南陈也被陈叔宝败的差不多了，隋国的势力都到家门口了，也没引起朝堂的足够重视。
开皇八年（588年）三月，杨坚下诏，列举陈叔宝罪行又送玺书暴其罪恶二十条，并将诏书在江南散发三十万份，以争取人心。同年十月设置淮南行省於寿春，以晋王杨广为尚书令统筹各路兵马，以高熲为元帅长史决断行军谋略，率八十总管、五十一万八千名士兵南征。
除了正面的作战外，在进军之前，扣留陈使，断绝往来，以保守军事机密，并且派出大批间谍潜入陈境，进行破坏、扰乱活动。
而陈叔宝不纳部将建议，自恃“长江天堑”，疏于防务，为了元会（即春节）之庆，竟命镇守缘江重镇江州（治今江西九江）、南徐州（治今江苏镇江）的两个儿子率战船回建康，致使江防更为薄弱。
十二月，长江上游隋军首先发起进攻。
不知是否还记得，前面有讲，北方攻打南方时，因为不习水战，也不习南方夏季的湿热，多趁冬季长江枯水期，且南方比较冷时，渡过长江攻打南方；而南方攻打北方时则相反，因习水战，不习北方冬季的寒冷，趁夏季长江涨水，且北方暖和时，乘船从水路渗入北方进行作战，所以，隋军在十二月时发起攻击。
经过一个月的艰苦奋战，于次年（589年）正月击破陈军，占领西陵峡口。
陈荆州刺史陈慧纪驻扎公安（今湖北公安西北），见大势已去，便率军三万、楼船千余艘，顺江东走，企图入援建康，却与周罗睺被杨俊军阻于汉口以西，陈军最后无法救援建康。隋军杨素继以主力沿江东下，与杨俊军会师汉口，另派刘仁恩部南下湘州（治今湖南长沙），击擒陈岳阳王陈叔慎，至此长江中游已非陈国所有。
情况已经如此危急了，陈朝的朝堂之上，却仍有拎不清的奸臣当道！
当隋军陆续占领长江上游的消息传到建康时，均被朝廷掌管机密的施文庆、沈客卿扣压，使得建康城毫无防备。隋军进至长江北岸时，施文庆又以元会（春节）将至，拒绝出兵加强京口（今江苏镇江）、采石（今安徽马鞍山市西南），等地军备。
这俩真不是杨坚派来的间谍吗？不对，他俩不是，那就是猴子派来的逗比，真想知道这两人到底是怎么想的，会不会是想以此投奔隋国，唉唉，完全弄不懂啊。
589年正月初一，长江下游隋军乘陈欢度元会之际，分路渡江。贺若弼军出广陵南渡，韩擒虎军出庐江由横江口（今安徽和县东南）夜渡，袭占采石（今安徽马鞍山市西南），晋王杨广军出六合（今属江苏）进屯桃叶山（今六合东南）。
初四，陈宝宝终于察觉事态不利，下诏亲帅陈军拒敌。
可是，陈国在陈叔宝手里败的差不多了，尽管将领们带着将士们应诏出兵作战，但是，士气不足，隋军是势如破竹的向前推进，而陈军却屡战屡败。
隋军派遣一部，在曲阿（今江苏丹阳）阻挡三吴地区（今江苏太湖以东、以南和浙江绍兴等）的陈军北援后，主力接连占领姑孰（今安徽当涂）、石头城（在今南京城西清凉山），至此，隋军已占领建康外围城市，完整包围了建康。
为配合主力的作战，隋将王世积军也成功由蕲春攻占蕲口（今蕲春西南），大败陈将纪填，逼近江西鄱阳湖；燕荣水师也由山东沿海南下，占领三吴地区。
建康（今南京）作为京城，肯定有它作为京城的底气，地势是易守难攻，当时建康仍有十万兵力，可是，陈叔宝却六神无主，将朝政交给施文庆办理，施文庆在陈叔宝面前诋毁诸将，说他们嫌功高赏薄，时有怨言，不可委以重任，因此诸将凡有建议，皆阻而不行。陈叔宝自己也不采纳诸将的建议，放弃钟山、石头等险地，将主力固守建康城内外，白白的让隋军包围建康城。
隋军攻打建康，可是，陈叔宝却摆出了错误的阵型，南北连亘二十余里，首尾不能相顾。将领也因各种原因，不是不战，就是投降。投降将领任忠领着隋将韩擒虎直奔朱雀门，在任忠的游说下，本就军心不稳，没有士气的守门将士们，一哄而散，韩擒虎攻入城内。
城内文武百官皆遁，朝堂为之一空，只有仆射袁宪、后阁舍人夏侯公韵没有离去。陈叔宝