郭子兴死后，军中的事务就由郭子兴的儿子郭天叙，妻弟张天佑与朱元璋共同主持，领兵作战自然也是朱元璋。可是，军中不能一日无帅，元军打来怎么办？孙德崖回来怎么办？正在大家着急的时候，大宋政权丞相杜遵道派人前来，大家公推张天佑同派来的使者一同去毫州，商议立帅一事。张天佑不久便带回了小明王的命令，委任郭天叙为都元帅，张天佑为右副元帅，朱元璋为左副元帅。从此，这支军队奉龙凤为正朔，以号令军中。朱元璋对自己屈居第三虽然非常不满意，但是，他考虑到自己这支部队力量尚不够强大，正好可以利用龙风政权的名号以壮声威，号召、发动和组织群众，发展壮大自己的队伍，也就接受了封号。于是，在和州正式建立起都元帅府。在和州都元帅府中，郭天叙是主帅，一切军政大事应出自他的手中；但是，天叙太年轻，而且又没有军事作战经验，难当此重任。张天佑虽然年长，可他有勇无谋，遇到事情又优柔寡断，一点主见都没有。自然和州的军政大事就全凭左副元帅朱元璋料理决断了。和州的队伍，大部分人是朱元璋招募招降来组建起来的，又是他新训练出来的，所以都听从他的调遣。另外，朱元璋身边还有一批能征善战的心腹，如徐达、汤和、胡大海等战将；还有能为他出谋划策的一群贴己谋士，如李善长、冯国用、范常等。而且朱元璋运筹帷幄，决胜千里，胸有韬略，大智大勇，绝非郭、张能比。朱元璋虽然位居第三，实际上大权牢牢掌握在他手里。他才是军中拿得起、放得下、做得主、说了算的真正主帅。朱元璋掌握实权以后，对于如何才能牢牢地控制军权，如何支配将领和谋士，确实费了不少的心思。他为了严防文臣武将相互串连勾结，他规定，不准将领们自己选用谋士，所有文臣谋土都是由朱元璋自己选派的。而且他还规定：每攻克一个城池，就令将官屯守，不允许儒者谋士在将官左右谈古论今，以防下属将官滋长谋求独立发展的机会。同时，每占领一个城池后，就用义子做监军和将军同守。他的义子保儿和大将胡大海被朱元璋指定同守严州，两人曾一度意见不和。朱元璋知道后，他派帐前都指挥使郭颜仁告诫李文忠说：“保指挥（保儿）我之亲男，胡大海我之心腹……你必须将此话对文忠说清楚，对胡院判（胡大海的官称）要以真心相待，节制以守之……”由此不难看出，朱元璋派义子和将军同守一个城池，实际上是让义子监视将军，并有节制政权的意思。朱元璋每次出兵打仗，都要求将士们将家属必须留在后方，看起来，好像是要确保他们的安全，实质是让他们留在后方做人质，以免将士投降叛变。这种方法都说明了朱元璋驾驭将士的能力及惟我独尊的封建权威意识正在其脑中萌发。
朱元璋率几万将士驻扎和州，他一直觉得和州城小人多，难以久居。而隔江相望的太平（今安徽当涂），乃要冲之地；东北通集庆（今南京），南邻芜湖，东面的丹阳湖周围是鱼米之乡。从军需和战略两个方面考虑，太平是必取之地。朱元璋把渡江攻取太平向江南发展的想法告诉了李善长，善长极为赞许，但认为条件尚不成熟。偌大的长江，怒涛汹涌，无船无水兵，要想渡江谈何容易。就在朱元璋无处筹措之时，巢湖水寨的红巾军首领李扒头、赵普胜因与庐州另一支起义军首领左君弼有隙，屡遭攻击，便派自己的部下俞通海到和州向朱元璋求援，朱元璋早就听说巢湖水寨有大小战船一千余艘，水军一万多人，这么好的机会，他怎么可能放过？他亲自赶到巢湖力劝李、赵等人，一同渡江，到江南发展势力，李、赵表示同意。朱元璋带领巢湖水师向和州进发，不料走至马肠河口被元军阻挡，朱元璋当机立断，马亡回和州调集了一批商船，装载精兵，击败了元军，巢湖水师利用连日大雨河水暴涨之机，顺利入江，驶抵和州，真乃天助朱元璋也。赵普胜于中途变卦，率部离去。
朱元璋有了自己的水师，立即召集诸将，制定渡江方案。有的将领主张直捣集庆，朱元璋认为这样做太过于冒险了，决定先攻取采石。
1355年六月初二，朱元璋亲自率徐达、邵荣、汤和、常遇春等人，战船一千余艘，分两队渡江。快到南岸时，朱元璋认为采石是个大镇，防御必严，而旁边的牛渚矶伸入江中，不易固守，于是下令在牛渚矶上岸。经过一番拚杀，矶上元军被杀退，朱元璋大军顺利登陆，很快拿下了采石。渡江成功后，李扒头想独立发展，杀死朱元璋，不料走泄了风声，反被朱元璋灌醉后，捆住手脚扔入江中，其部下全部归顺了朱元璋。攻下采石后，士兵们抢着搬运粮食牲畜，朱元璋非常不高兴，对徐达等将领们说：“今全军渡江，拿下采石，是为了乘胜夺取太平，在江南成就大业，若纵容兵士掠夺财物后回和州，再想回来成就大事可就难了。”于是他效仿当年项羽破釜沉舟之计，将所有船只缆绳砍断，任其顺流而下。然后，朱元璋传令三军：前面就是太平，城里财宝美女，无所不有，攻下此城，任你们随意取用，然后就放你们归去。将士们听了，无不欢欣鼓舞，直奔太平城下，人人奋力，很快就破城而人。兵士们正准备大抢一通，却只见满街都贴着告示：严禁抢掠，违令者军法处置。富豪陈迪等捐献了一批财宝，朱元璋全部分给将士们，大家也就心满意足了。朱元璋又下令开仓放粮，救济百姓，太平的百姓无不衷心拥护。1355年（至正十五年）六月底，朱元璋分兵两路进攻集庆。南路由徐达等率领往东攻占溧水，再取溧阳，从南面包抄集庆，主要是切断集庆与南面元军的联系；北路由张天佑率领降将陈茔先的士兵，直取集庆。朱元璋将陈茔先留在太平，陈茔先暗中指示部下，不要认真打，装装样子就可以了。张天佑吃了败仗，退回太平。同年八月，再次进攻集庆。陈茔先又传话部下，不要真打，这时，徐达占领溧水，又分兵攻取了溧阳、句容、芜湖等地，切断了集庆与南面元军的联系。九月，朱元璋决定对集庆发动第三次进攻，由郭天叙、张天佑带兵去攻。郭、张攻打集庆东门，陈茔先也领本部人马来到集庆，并佯攻南门。随后设宴请郭、张两位元帅，乘其不备，以伏兵杀害郭天叙，又生擒了张天佑，将集庆主帅福寿处死。红巾军只好退守溧阳。郭天叙、张天佑死后，原郭子兴的旧部全部归朱元璋指挥，这时他才正式成为这支军队名副其实的都元帅，小明王麾下的一员大将。
1356年（龙凤二年）三月初一，朱元璋亲率大军从太平出发，三攻集庆。先前部队在集庆城外突破陈茔先的大营，陈茔先被活捉，其部将三万六千人全部归降。朱元璋认为，眼下正是用人之际，应化敌为友。先前正是这伙人杀了郭天叙和张天佑，要解除他们心中的疑虑，为我所用。于是他从中选出五百勇士做自己的亲兵侍卫，将原亲兵全部撤下，当夜就让这五百人轮流为他守夜，只留亲兵侍卫冯国用一人陪住。朱元璋胆识非常人所及，非常人所能比。他回到帐中，脱下盔甲，倒头便睡。他的这种以诚相待：用人不疑的大无畏精神，折服了这五百勇士。不仅如此，也使得那三万多降兵对他佩服得五体投地，都表示原意为朱公效死。三月初十，朱元璋下令向集庆发起总攻：冯国用率领这五百壮士首先攻入城中。元朝主帅福寿率军巷战，兵败被杀，平章阿鲁灰等均战死，御史王稷、元帅李宁等被俘，水军元帅康茂才及全城军民五十万归降，只有蛮子海牙一人突围逃走。江南重镇集庆被朱元璋光复。朱元璋入城之后，召集官吏军民大会，宣告说：“元朝政治腐败，兵戈并起，老百姓遭殃……我领兵到这里，是为你们除乱解难的。你们大家要各守其职，不要疑虑害怕；有贤人君子愿意跟我建功立业的，我以礼相待并重用；做官的不许横暴，不许残害百姓；旧的规章制度对大家不利的，我一律将其废除。”大家听了朱元璋这一番激动人心的讲话，又见朱元璋的军队果然纪律严整，都放心了，集庆城里很快就秩序井然。攻占集庆的次日，朱元璋下令改集庆为应天府，以表示自己起兵是“上天应命”的。又设天兴，建康翼统军大元帅府，以廖永军为统军元帅；以赵忠为兴国翼元帅，戍守太平。七月，小明王得到朱元璋占据应天以捷报便下令提升他为枢密院同佥，不久又命他为江南中书省，总揽省事，并设立和完善了其他行政、司法、军事机构，建立起了一个完备的地方政权，他的诞生标志着朱元璋在其政治生涯进程中又迈进了坚实的一步，这个政权虽然在名义上受小明王节制，实际上是完全独立的。