时间一天天的过去，杨广即位已经到了第二年，蔡夫人的离去让杨广的心里曾经有过一种莫名的难过，紧接着，陈夫人也因为一场恶疾病故，杨广以陈夫人恶疾怕传染为由，将陈夫人的寝宫的门锁住，一把大火将侍候过陈夫人的太监宫女全部烧死在里面，晚上宫人走过原陈夫人的寝宫废墟时，总会听见里面有女子哭泣的声音，就是杨广晚上在别处寝宫歇息时也宗听到女子哭泣之声，为防鬼魂作祟，从全国请了数十名有名的道士和尚做法超度，又命礼部安排了对陈蔡二位夫人的祭祀后心里稍微平复了些，经历了这些事情之后，杨广的性格变得更加阴沉喜怒无常，连原先后宫最得宠的萧皇后除了正式的朝见外，杨广也不在皇后寝宫过夜，时常一个人呆在寝宫，皇帝虽然已经有了三位皇子，两位公主，可是作为皇帝，子嗣越多，皇权越稳，在萧皇后的主持下，全国各地进献的美女源源不断的送入到了宫中，在这些美女的簇拥下，杨广的脸色才慢慢的好转。但奢靡之风日进一日。有美女自然少不了歌舞，宫廷中的歌舞教坊每天乐声不断，杨广还不满足，下旨太常寺卿高熲招集原北齐、北周时期流落民间的乐工和民间的散乐。高熲想起杨广以前做太子、为藩王时那种恭谨简朴的模样，本着对杨广一片忠心的心思向杨广劝谏：
“陛下，原来的北齐、北周的乐工好召集，但前朝的乐曲都是亡国之音，废弛已久，如果再次召集演奏，恐怕于我朝社稷不利啊！”杨广对高熲本来就没有什么好感，即位之初启用高熲就是因为想让杨素有所顾忌，也是自古新君即位巩固皇权的一种手段，如今杨素已经死了，高熲的门面作用可有可无，还如此不识抬举，当年太子之争的旧怨又涌上了心头。
“高熲，你身为太常寺正卿，理应做好自己的事情，怎么，你以为你还是宰相吗？”高熲听到这话，感觉身后一股凉气直往外冒。赶快俯下身子想杨广请罪。
“陛下，臣失言了。请陛下恕罪！”看着高熲服下身子有些发抖，杨广的怒气稍微减少了些。
“行了，这件事情交由你去办，就当赎自己的罪了。”高熲还想拒绝，可看到杨广的脸色，只好磕头谢恩，回到太常寺。叫来属下官吏，传达了皇帝的圣旨，太常寺丞李懿对高熲说道：
“老相爷，如今民间百姓生活艰难，皇上还如此奢靡，您应该劝谏皇上多以百姓为重啊！”高熲痛苦的说道。
“北周时期，周宣帝喜好音乐，宫中歌舞不断，结果灭亡，这前朝故事没过多久，现在看来历史马上要重演了。”手下的下属官吏都摇着头叹息着出去了。虽然美女在怀，雅乐入耳，但杨广从来不是宅男性格，他的心里仍然还是装着功业。在运河还没有完工，而边关又传过来突厥的达头部落对长城时有袭扰，虽然依靠地势之利守住了关隘，但有些地方年代太过久远，城墙已经坍塌，不利于御敌，杨广下令，再调集大批民夫前往西部与北部边关重新修建长城，百官中有人劝说杨广运河还未完工，如果再修长城，恐怕会重蹈秦始皇使用民力不当的错误而灭亡，希望杨广开通大运河后再等三五十年再修长城。杨广大怒，怒斥百官：
“秦朝灭亡并非时使用民力不当，实是秦太监赵高弄权，逼死太子扶苏，扶立胡亥所致，朕在即位之初便已经立长子杨昭为太子，杨昭聪敏好学，有君子之风，深肖朕恭，日后比为我朝一代明主，另外运河修好之后再等三五十年，那我大隋子民又会被那突厥蛮夷掳掠多少，儿等只图眼前利益，不顾百姓死活，好似为国为民，实为自己的清誉。”杨广越说越气。在太子杨昭和皇后的劝慰下才慢慢安抚了自己的情绪。裴矩上前向杨广启奏道：
“启奏圣上，圣上所虑甚是，但古话说的好——敌人的敌人就是我们的朋友，臣听闻在我西部边关，达头部与吐谷浑多有冲突，臣请出使西域，拉拢吐谷浑为我大隋所用，即便吐谷浑没有打败达头，我们也可乘虚将河西故土重新归于我大隋治下。”杨广听到裴矩的奏议笑在心头。
“爱卿所言甚好！那就辛苦爱卿了，传旨兵部，多选好马，从京畿大营中挑选精壮兵士与爱卿随行护卫，朕在洛阳等爱卿的好消息。”
“臣领旨谢恩！”裴矩拜谢。裴矩到达西域后，先在甘州一代大力发展经济，招徕西域胡商。又多次深入吐谷浑的境内，通过多方谋划，拉拢在突厥达头部以北的高昌王麴伯雅、伊吾吐屯等入中原朝见杨广，对吐谷浑的商人也多有拉拢，加强吐谷浑对隋朝的经济依赖。又暗中派出秘密部队假扮盗匪杀掠达头与西域的交易商队，又在达头部落的境内暗杀掉吐谷浑的使臣。吐谷浑可汗慕容伏允大怒，引兵与达头交战，败退，为保住祖宗的基业，慕容伏允向杨广请求内附，杨广街道慕容伏允的请求后大喜，亲自带重兵进驻吐谷浑的领土，开拓河源、鄯善、西海、且末四郡，并让裴矩陪同慕容伏允一起到长安朝见。晚上，在行宫中，杨广召见裴矩：
“爱卿，这回吐谷浑内附，我大隋又辟地千里，爱卿居功至伟呀！”
“皇上，这全是您决策英明，又用人得当所致，若论功劳，陛下当属第一。”裴矩的