大业九年（613）六月初三，杨玄感假称将军来护儿因延误军期发动兵变，他须前往平定叛乱为名，领兵占据黎阳，关闭城门，大索男夫。并向附近各郡发送文书，以讨伐来护儿为名，命各郡发兵会集黎阳。杨玄感任命赵怀义为卫州刺史、东光县尉元务本为黎州刺史，河内郡主为怀州刺史。并选精壮运夫五千余人，船夫三千余人，杀三牲誓师，起兵反杨广。他曾立下誓言：“我身为柱国，家累万金，至于富贵无所求也，今不顾破家灭族，但为天下解倒悬之急，救黎元之命。”以取得人心，前来投奔的群众日有数千，军队迅速扩展到一万多人。当地的父老还竟相送来酒肉，犒劳杨玄感的军队。
杨玄感举兵后李密就到了黎阳，就被杨玄感任命为军师。杨玄感向他问自己该怎么走下一步，李密曰：
“愚有三计，惟公所择。今天子出征，远在辽外，地去幽州，悬隔千里。南有巨海之限，北有胡戎之患，中间一道，理极艰危。今公拥兵，出其不意，长驱入蓟，直扼其喉。前有高丽，退无归路，不过旬月，赍粮必尽。举麾一召，其众自降，不战而擒，此计之上也。又关中四塞，天府之国，有卫文升，不足为意。今宜率众，经城勿攻，轻赍鼓行，务早西入。天子虽还，失其襟带，据险临之，故当必克，万全之势，此计之中也。若随近逐便，先向东都，唐祎告之，理当固守。引兵攻战，必延岁月，胜负殊未可知，此计之下也。”
杨玄感对于李密献的上、中、下三策，选择了下策。他认为打下当时的实际都城洛阳，才能大长士气，并可以抓获文武百官的家属作为人质，于是尽焚屯于黎阳的龙舟，率兵向东都洛阳进发，准备进军东都洛阳，占据中原以图发展。此时留守东都的越王杨侗、民部尚书樊子盖闻知此讯大惊，急忙聚兵抵抗。
杨玄感命其弟杨玄挺率一千人进攻河内，自己从汲郡(今河南淇县)南渡黄河，向洛阳前进。杨玄感的叛军未遇任何抵抗，很快到达偃师(今河南偃师)。杨玄感乃命其弟杨积善率兵三千从偃师以南沿洛水西进，杨玄挺自白司马坂(今河南洛阳)越过邙山从南面向东都发起进攻，杨玄感率三千余人马紧随其后。洛阳方面派河南令达奚善意率精兵5000抵挡杨积善，将作监及河南赞治裴弘策率八千人迎战杨玄挺。当时，杨玄感的士卒多为没受过正规训练的民夫，手执单刀柳盾，也没有弓箭铠甲，但是杨玄感本人骁勇无比，每当双方交战，他总是亲自手持长矛，披挂上阵，身先士卒。将士们都深受鼓舞，愿为杨玄感效死，故达奚善意军不战自溃，而裴弘策军也五战五败，只带十余骑逃回洛阳城中。14日，杨玄挺直抵太阳门，将洛阳包围，其他书友正在看:。
包围了洛阳的杨玄感派投降过来的韦福嗣代自己修书一封给留守洛阳的隋主将樊子盖，书曰：
“夫建忠立义，事有多途，见机而作，盖非一揆。昔伊尹放太甲于桐宫，霍光废刘贺于昌邑，此并公度内，不能一二披陈。高祖文皇帝诞膺天命，造兹区宇，在〔玑以齐七政，握金镜以驭六龙，无为而至化流，垂拱而天下治。今上纂承宝历，宜固洪基，乃自绝于天，殄民败德。频年肆书，盗贼于是滋多，所在修治，民力为之凋尽。荒淫酒色，子女必被其侵，耽玩鹰犬，禽兽皆离其毒。朋党相扇，货贿公行，纳邪佞之言，杜正直之口。加以转输不息，遥役无期，士卒填沟壑，骸骨蔽原野。黄河之北，则千里无烟，江淮之间，则鞠为茂草。玄感世荷国恩，位居上将，先公奉遗诏曰：“好子孙为我辅弼之，恶子孙为我屏黜之。”所以上禀先旨，下顺民心，废此淫昏，更立明哲。四海同心，九州响应，士卒用命，如赴私雠，民庶相趋，义形公道。天意人事，较然可知。公独守孤城，势何支久！愿以黔黎在念，社稷为心，勿拘小礼，自贻伊戚。谁谓国家，一旦至此，执笔潸泫，言无所具。”
杨玄感的信中历数杨广罪恶，还提出自己要像伊尹放太甲、霍光废昌邑上那样黜废杨广，“废昏立明”但樊子盖并不是关陇贵族而是有杨广一手提拔起来的江淮人士，对杨广比贵族人士更具忠心，所以当他收到杨玄感极富煸动性的信后不为所动，同时加强城防，调遣军队出战。
洛阳城下杨玄感收编隋军降众，招募百姓，得五万余人，一时刘元进在江南起义响应，韩擒虎之子韩世粤、观王杨雄之子杨恭道、虞世基之子虞柔、来护儿之子来渊、裴蕴之子裴爽、郑善果之子郑俨、周罗喉之子周仲等40余贵族子弟“皆降于玄感”。杨玄感对这些名将名臣之子，均委以重任。乃分兵五千占据慈硐道(今河南洛阳西)，五千人把守伊阙道(今河南洛阳南)，派开国元勋韩擒虎之子韩世萼率三千人包围荥阳(今河南荥阳东北)，顾觉率五千人攻取虎牢(今河南荥阳西北)。杨玄感亲率主力攻打东都，樊子盖随机拒守。杨玄感一时无法攻破城池。镇守长安的代王杨侑派刑部尚书卫文升统兵四万救援东都。卫文升军经崤(今河南洛宁)、渑池(今河南渑池)，在东都城北和杨玄感军交锋，卫文升部且战且走，至金谷(今河南洛阳东北)与杨玄感军形成对峙之势。杨玄感军屡败卫文升军，使其实力