杨广南巡，带走了大隋在中原的大部分精锐军队，使得中原统治处于一种比较空虚的状态，这使得依然在挣扎的农民起义得到了喘气并发展壮大，同时也让有野心的贵族阶级看到了反隋的希望以及有了反隋的勇气。
虽然隋朝的农民在大业七年的时候就开始了并且声势浩大，但是在杨广军队的强力镇压下依然没有成势的可能。直到杨广的第三次南巡，在隋军的强力镇压下只能挣扎保命的农民起义的春天似乎来了，他们在这时开始发展壮大。在后来，北方农民起义汇成了两支强大队伍：一支是河南的瓦岗军，一支是河北的窦建德军。这两支队伍加上江淮地区的杜伏威军成为隋末农民反隋的强大三主力。其中由贵族领导的瓦岗军是三支队伍中最为强大的，它甚至一度问鼎中原。
曾任东郡法曹的翟让，犯法当斩，狱吏黄君汉知道他武功高强，认为他“可救生民之命”，便不顾个人安危，私自释放了他。大业七年（611），逃命到瓦岗的翟让与同郡人徐世勣（即李勣）、单雄信起兵于瓦岗（河南安阳），这也是瓦岗军的名称来由。参加起义的有故县吏邴元真、善于占卜的贾雄和翟让的兄长翟弘等。翟让以贾雄为军师，邴元真为书记，徐世绩、单雄信为领兵将校，所部多齐、济间渔猎手。瓦岗军初期活动于东郡一带，瓦岗军初期活动于东郡一带，翟让后来听从徐世绩的建议，分兵西上，进入大运河所经的郑、宋边界，阻截往来的公私船舶，资给丰足，归附者日众。起义队伍很快发展到万余人。但是不知道是隋军镇压的厉害还是作为首领的翟让没有多大野心与能力，起义后的瓦岗军直到大约十二年（616）的时候还是像隋末大部分的农民义军一样没有什么特别的，都是为了活命聚在一起的“土匪”队伍。但是在大业十二年的十月，他的加入改变了瓦岗，改变了天下。他就是参加过大业九年杨玄感叛乱的大贵族李密。
杨玄感兵变失败后，在衙役手中逃脱的李密与王仲伯先投奔逃到平原(山东平原)一带的义军首领郝孝德处，但郝孝德却不以礼相待，于是李密又投另一义军首领知世郎王薄，王薄对其也不重用。是年，山东闹饥荒。李密二人沦落到削树皮用来充饥。
不久，王仲伯离开李密偷偷回至天水，李密则逃到淮阳(河南淮阳)，住在村中，改姓名刘智远，当起了私塾先生。几个月间，李密郁郁不得志，便作了一首五言诗，哀叹自己的凄凉处境：
“金凤荡初节。玉露凋晚林。
此夕穷途士，空轸郁陶心。
眺听良多感，慷慨独沾襟。
沾襟何所为？怅然怀古意。
秦俗犹未平，汉道将何冀！
樊哙市井徒。萧何刀笔吏。
一朝时运合，万古传名器。
寄言世上雄，虚生真可愧”。
诗成之时，他自己悲从中来。竟至落泪。当时有人感到奇怪，便把此事告于太守赵佗。赵佗遂派人前去抓捕，李密闻风而逃。躲过此劫。李密无处可去，只好躲在他妹夫雍丘县令丘君明家里，丘君明不敢收留，便让他藏在游侠王秀才家，王秀才还将女儿嫁于李密，。不久，丘君明的从子丘怀义向官府告发，梁郡通守杨汪相知前去抓捕，汪相知派兵包围了王秀才家，命大的李密正好外出，因此得以逃脱，而丘君明和王秀才却因此事被杀。
走投无路的李密在翟让的部将王伯当的推荐下于大业十二年(616)十月，投奔翟让。
李密来到瓦岗军后，其中有人知道李密是杨玄感的亡将，朝廷通缉钦犯，可能是怕招来朝廷的大规模围剿于是暗中劝翟让将李密除掉。李密闻后，心中大惧，便通过翟让部将王伯当向翟献计：“今主昏于上，人怨于下，锐兵尽之辽海，和亲绝于突厥，南巡流连，空弃关辅，此实刘、项挺兴之会。足下资豪桀，士马精勇，指罪诛暴，为天下先，杨氏不足亡也”。翟让闻后，说：“吾侪群盗，旦夕偷生草间，君之言者，非吾所及也”。从此对李密礼遇有加。
当时有个叫李玄英的人，从东都逃出来，在众义军中寻访李密，并云“斯人当代隋家”。别人问其故，李玄英说：“比来民间谣歌有《桃李章》曰：‘桃李子，皇后绕扬州，宛转花园里。勿浪语，谁道许！’‘桃李子’，谓逃亡者李氏之子也；皇与后，皆君也；‘宛转花园里’，谓天子在扬州无还日，将转于沟壑也；‘莫浪语，谁道许’者，密也”。待与李密相遇后，遂委身事之。还有前宋城尉齐郡人房彦藻，自负其才，但却无法施展，因而参与了杨玄感之事。杨玄感失败后，房彦藻隐姓埋名，结果在梁、宋之间，遇到了李密。此时，翟让命李密游说邻近的小股义军，李、房二人以身相随，所至皆附。翟让见李密为豪杰所归，欲从其计，但犹豫未决。
翟让手下有个叫贾雄的人，通晓阴阳占候，被翟让命为军师，而且言无不用。李密主动与贾雄结下深厚的交情，然后让贾雄暗中助他。时值翟让召贾雄议事，并将李密所言告诉了贾雄，问其是否可行。贾雄说：“吉不可言。”又说：“公自立恐未必成，若立斯人，事无不济。”翟让不解，