十天行童，而且还不会念经、做佛事，但是没有办法，也只好扮成和尚的样子，离开寺院托钵流浪。这时明皇年仅17岁。
明皇边走边乞讨，他听人说哪里年景好就往哪里走，他从濠州向南到了合肥，然后折向西进入河南，到了固始、信阳，又往北走到汝州、陈州等地，东经鹿邑、亳州，于1348年又回到了皇觉寺。在这流浪的三年中，他走遍了淮西的名都大邑，接触了各地的风土人情，见了世面，开阔了眼界，积累了社会生活经验。艰苦的流浪生活铸就了明皇坚毅、果敢的性格，但也使他变得残忍、猜忌。这段生活对明皇的一生产生了深远的影响。
明皇在外云游的三年，也正是元末农民起义风起云涌的时期。社会上广泛流传着“明王出世，普度众生”的说法，北方的白莲教也在进行同样的宣传。明皇在流浪中，也接触到这样的宣传，他目睹国是日非、人民生活恶化的现状，意识到天下大乱很快就会来临了。于是在回到皇觉寺后，他发奋勤学，广交朋友，准备干出一番事业来。
1351年，白莲教首领韩山童、刘福通在颖州(今安徽阜阳)发动起义，并推韩山童为明王。同年八月，彭莹玉、徐寿辉在蕲水(今湖北浠水)起义。这些起义者用红巾裹头，故称红巾军。1352年，郭子兴和孙德崖在濠州起义。
明皇闻听起义的消息，不由心想，老在寺院里，随时可能被元官军抓走，性命难保。正在此时，他收到儿时伙伴汤和的信，汤和在信中邀请明皇参加郭子兴的义军。恰在此时他的师兄秘密告诉他，说有人知道此信，要去告密。于是，明皇放下钵盂，赶紧去投奔郭子兴的红巾军。这一年，明皇25岁。
在明皇称帝之前，奉行的策略是朱升提出的“高筑墙、广积粮、缓称王”。高筑墙是指加强军事防备，巩固后方；广积粮是指发展经济生产，储备粮食，增强经济实力；缓称王则是指不要过早称帝，以免树敌过多。这三条建议极具战略眼光，是明皇发展初期的指导思想。
明皇在和州驻守几个月后，粮食供应成了问题。与和州相对，紧靠长江南岸的太平(今安徽当涂)、芜湖是盛产稻米的地方，但是没有船只，只能望江兴叹。这时恰好两支红巾军的巢湖水军前来归附，明皇亲自处理合并事宜。七月间，巢湖水军千余只战舰突破元军封锁抵达和州。明皇的步马军登上巢湖水军的船只，从和州东渡长江。到达对岸的采石，常遇春一马当先，率军冲杀，攻克采石，获得大量粮食。将士想把粮食和战利品运回和州慢慢享用。见此，他果断地命人砍断船缆，任船顺流而下，断绝退路。将士们见无路可退，一鼓作气，在明皇率领下攻克太平。进入太平，明皇重申军纪，严禁掳掠，有个别兵士犯禁，立即处死，因此，明皇的军队受到当地百姓的拥护。明皇于是置太平兴国翼元帅府，自己做元帅，任命李善长为帅府都事。这样，明皇便开始了稳固根据地的工作。
至正十六年（公元1356年）三月，张士诚在长江三角洲地带发起攻势，进攻江南元军。乘此机会，明皇亲自统率水陆大军，第三次进攻集庆(今江苏南京)。在第三天，攻破城外的陈兆先军营，其部三万六千人归降朱元璋。但是，明皇看出降军心存疑虑，军心不定。于是他就从降军中挑选了五百名勇士当亲军，在夜里守卫，而自己身边，只留有亲兵统领冯国用一人。
第二天，降军知道此事，都十分感动，疑虑全消，甘愿跟随明皇打天下。于是，战争进行得十分顺利，不到十天，他便攻下集庆。
明皇进城后，下令安抚百姓，改集庆为应天府。小明王韩林儿获报后，升他为枢密院同佥，不久又升为江南等处行中书省平章。明皇在应天则设天兴建康翼大元帅府，以廖小安为统军元帅，李善长为左右司郎中。
此时，尽管明皇拥有十万兵力，声势比过去大了很多，但是占有的地盘仍然很少，而且四面受敌。东面和南面是元军，东南是张士诚，西面是徐寿辉，虽然同是反元武装，但是张、徐二人同小明王却相互敌视。不过，北面小明王、刘福通率领的红巾军主力，大大牵制了元军，而且，张士诚、徐寿辉的力量还不足以兼并明皇。这样一来，明皇暂时没有对付不了的敌人，并且面临着一个很好的发展机会。
明皇目前首要的任务是巩固以应天为中心的根据地。于是在占领应天不久，他立即派徐达攻取镇江。出战前，为了严明军纪，他故意以放纵士卒的罪名将徐达抓起来，并准备以军法处斩。此时，李善长出来求情，众将不知是计，也一起求情。于是明皇就顺水推舟，说看在众人的面上，暂时免去徐达死罪，不过要徐达攻下镇江后，做到不烧不抢，方可完全赦免徐达之罪。众将见对待主将尚且如此严厉，因此，无不严守军纪，镇江很快攻下。到1357年冬，明皇在一年的时间里先后攻下了金坛、丹阳、江阴、常州、常熟、扬州等地，控制了应天周围的战略据点。到1359年，从现在的地图看，明皇已经占领了江苏南京、太湖以西，往南经江苏、安徽、浙江三省交界处，到浙东的一块长方形地区。与四年前刚占领应天时相比，形势已大