至正十二年（1352）闰三月初一，天刚蒙蒙亮，元璋就抵达了濠州城的城门。僧衣，僧鞋，在那长面圆顶上扣着一个破旧的大斗笠，显出一副不僧不俗不尴不尬的模样，使人直疑心是敌人的暗探细作。门卒和巡卒不由分说就把他绑了。元璋并不告饶，挣扎嚷说着，要见大帅。有人说要结果了他，一个年长晓事的还是通报了郭子兴。郭子兴命令带进去相见，才险脱这一刀。
元璋并不畏缩，好像比任何时候都更气足更自信。当这个二十五岁长面修身的粗壮汉子戳在郭元帅面前的时候，倒有一副威武夺人之概，子兴眼下毕竟是领略过一些人物的，见此情景便有几分喜欢。几句问答之间，元璋神怡声朗，对答如流。子兴便留他做了帐下亲兵。不到一个月，拔为九夫长。子兴觉得，这个年轻人处事沉稳，计虑周详，好多事情都能从他那里讨个分晓，因此很愿意同他交谈。有几个仗让他跟随，他都能独当一面，打得漂亮。子兴渐渐把元璋看做贴己心腹，时常把他叫到内宅议事，连眷属也不避讳。一天，子兴对元璋说：“你二十五岁，年纪也不小了，还没有个家室怎么成，我当为你设法寻一个合适的。”晚上归家，子兴在饭桌上同他两位张夫提起这件事。小张夫人说道：“现如今天下大乱，正应该收揽豪杰为我所用。我看这个年轻人，言行举止非同一般，将来一定是个用得着的。眼下放着一门亲事不做，还到哪里去寻？如果不把他安抚在我们家，倒推给别人做亲信，那就太失算了。”子兴用手一拍脑门，不觉失笑道：“该死，该死，我怎么就没想到这一层？”大张夫人也抿口笑道：“我只说你的鬼聪明只放到哄男人上头，却原来还有这个计算。”三人说笑之间就把此事定下了。原来郭子兴有四子二女，长子名大舍已战死，次子名天叙，三子名天爵，都是大张夫人所生，小张夫人生有一女，这时年纪尚幼。其下还有一个最小的儿子名老舍，是李夫人所生。此外还有一个义女，其父姓马。子兴他们说的，就是这位马姑娘，也就是后来的马皇后。
这位马姑娘的父亲原是宿州闵子乡人，也是一个轻财好义喜欢结交的江湖人物，元朝末年，他因为路打不平杀了人，便携家来到定远。与郭子兴义气相投，结为刎颈之交。待子兴打算起兵的时候，这位马公便决计到宿州联络，与子兴相呼应。临行，将这个女儿托付给子兴。子兴也抚之如亲生。这位马姑娘出生于元宁宗至顺元年（1332）七月十八日，今年刚满二十一，比元璋小四岁。她脸上有几颗白麻子，说不上漂亮秀气，却端庄，聪明。她自从与元璋结婚，夫妇感情一直很好，对元璋的事业也很有协助，从而成为中国历史上有名的后妃。却说元璋能与大帅的女儿结亲，自然是身价百倍，人们对这位几个月前破衣烂衫秃头秃脑的小沙弥不得不刮目相看。连重八的名字也换了，起一个官号叫兴宗，但官兵们连兴宗的名字也不便喊，而尊称为朱公子。
子兴要网罗元璋不是没有目的的。当时，濠州城内，统帅之间矛盾重重，你争我斗相当激烈。当初，郭子兴与孙德崖、俞某、鲁某、潘某一起举事，倒能协同作战，占据濠州以后，便有一个立名号、排座次的问题，五人各不相让，于是都称元帅。关于座次，子兴为顾全大局，还是让出了第一把交椅，而屈居第五，但子兴能打仗，善计谋，孙、俞、鲁、潘都是庄稼汉的阅历，不识字，少识见，性情粗直，遇到要处理的事情，四个人直着眼张着嘴发呆，想说没口词，想道没点子，而子兴则能三下五除二，这般如此，说个头头是道。说完自不免得意之色，有时还奚落几句，然后扬长而去，使四个人十分羞怒。四个人被挤到一起，便联合起来对付子兴。子兴也气愤懊恼，常常憋在家里生闷气。碰到公事，四个人等子兴不到，便自作主张处理。当他们再次聚会的时候，四个人对子兴嗔目而视，子兴也时有恶言相加。虽然彼此还都按捺着，隐忍着，但相互猜疑提防，已形同水火。就在这个时候，徐州城的彭大、赵君用等战败逃亡而来，使濠州城的形势更加复杂化。
徐州城地控中原，扼守黄河、运河交通要道，为兵家必争之地。元朝政府先是招募两淮三万盐工和盐贩子（所谓“盐枭”），于至正十二年（1352）正月征讨徐州。七月，丞相脱脱亲自率将出师，督制诸处军马，中书省、枢密院、御史台诸大员从行，禀受节制。九月，大兵四集，以巨石为炮，日夜轰击，终于破城而入。芝麻李逃遁，后来被俘斩杀，彭大和赵君用率残部投奔濠州。脱脱血洗徐州，男女老幼无一幸免。
彭大、赵君用穷途末路，本来是寄人篱下的角色，但是，濠州城内的裂痕却给他们以可乘之机。孙德崖几个人欢迎徐州败军的到来，他们要借用外来势力钳制郭子兴。结果使彭大、赵君用反宾为主，对郭、孙等人反而颐指气使，部属视之。人们常说，一个槽上拴不得俩叫驴，彭大、赵君用得志于濠州之后，也相互踢咬起来。彭大处事果断，又有心计，赵君用不是对手，只好唯唯听命。子兴看出了这个诀窍，便主动交结彭大而冷落君用，使君用大为愤恨，自然同孙德崖等人结党。在濠州城内两派势力重新组合。争斗进一步发展，终于导致了公开的冲突。
这一天，孙德崖、赵君用他们指派的人看准郭子兴单独走在大街上，便一拥而上，将他绑架了，而后拥至孙德崖家，投入地窖中。郭子兴的部下都不敢动作，连郭天叙、郭天爵都躲藏起来了。这时元璋正在淮北前线，得到消息后，即刻打马而回，他知道，郭子兴的存亡，直接关系着他的家庭、他的前程、他的生死。朋友们劝他：“既然郭公被逮，自然就要捉拿你，你回去，岂不是送死？”元璋说：“郭公待我有厚恩，现在有难，我不去搭救，还算得上男子汉吗？江湖上会怎么看我！”元璋趁晚间摸到郭家，见到的全是妇女，问天叙他们在哪里，妇女们都不肯相告，元璋说：“我难道是外人吗？如果我安了坏心，就不赶回来了。所以冒死前来，还不就是为了搭救元帅！”小张夫人便将实情相告，并叫来了郭氏兄弟。元璋说：“元帅素来厚彭薄赵，这个事情表面上是孙帅他们干的，实际是赵君用的主谋。要救元帅，还必须请老彭出面。”大家觉得有理，即让元璋带天叙他们马上活动。元璋夜见彭大，陈说利害，并说道：“濠州城里谁不知道我们元帅佩服彭大帅有勇有谋，料事高人一等。这自然就遇事向大帅多请教多商量些，关系更亲密些，可谁想到因此就得罪了人。他们这样干明明是拔大帅的羽翼，拆大帅的台。自古来多少事都被这帮嫉贤妒能的人给搅了。”彭大本来就喜欢元璋，听了他这一席话觉得顺耳，也翻腾起了对赵君用、孙德崖一伙人素日的厌恶与怨恨。于是霍地站起，厉声说道：“有我在这里，看谁敢胡来。”随即喝令左右，集合队伍，黎明时分，兵围孙德崖家。元璋等也披挂持枪同往。到了孙家，不等交涉，元璋就跳墙穿屋而入，找到幽禁子兴的地窖，砸破械枷锁链，使人急速背出。一场火并暂时制止了，但将帅们的仇恨却加剧了。对元璋来说，他应付突然事变的能力，第一次承受了小小考验。
进攻徐州的元军乘其锋锐对淮西红巾军发动了攻击。元将中书左丞贾鲁僦是那位治河的贾鲁）与中书平章月可察儿率师围濠州。大敌当前，城内将士暂捐前嫌，协力拒守。从至正十二年（1352）冬天到至正十三年（1353）五月，二军相持半年之久。五月十六日，贾鲁誓师，再次发动总攻，他亲自跃马督阵，志在必取。兵临城下，他忽然一阵晕眩，跌下马来，随即死于军中。元军不得不撤围而去。
然而濠州城中愈发艰难而混乱。在几个月的困守中，粮食吃用殆尽，兵员损失严重。将士们都出城劫掠。且不要说应该不应该、忍心不忍心的话，实际上，这时就是把百姓的骨髓榨干，也熬不了几两油了。不管大户小户，粮食已被各路神仙搜寻光了。为了救燃眉之急，元璋从友人那里弄来几百斤盐，顺流贩到怀远，换来几十石粮食送给子兴。本年六月，他又回到家乡招兵，带回七百多人，也献给了子兴。子兴就把这七百兵丁交给元璋率领，并升他为镇抚，不久又升为总管。这是元璋第一次有独自带领的队伍。
在那样一个兵荒马乱的年月，有枪就是草头王。不管时局多么艰难，明天后天命运如何，凭手中的几千几万兵马，这十里百里方圆就是老子的天下。濠州城里的渠帅们也想过过王侯的瘾头。于是，彭大自称鲁淮王，赵君用也张起了永义王的旗帜。只是这里的旧主人郭子兴、孙德崖几个人却依然是元帅，不敢给自己戴高帽子。好在大家是分灶吃饭，各帮各伙，也就互相迁就，彼此容忍了。
但是，王爷的气度毕竟不同，连下面的将帅们架子也愈拉愈大。官尊脾气长，对下属特别是子兴他们的军官愈来愈凌虐横暴。元璋看到，再在这里委屈下去，只有招辱取祸。濠州城里没有一个可以成得气候，郭子兴也是外刚内柔，不足以相托。经过反复琢磨，他决定离开濠州，去开辟新的天地。
至正十四年（1354）正月初一，当濠州城的兵将们醉眼惺忪还没有起身的时候，朱元璋所带的二十四个贴身随从，已经足踏严霜，走在南去定远的大道上。这是他从七百名军兵中特意挑选出来的，其余的便全部交给了郭子兴。这二十四个人是：徐达、汤和、吴良、吴桢、花云、陈德、顾时、费聚、耿再成、耿炳文、唐胜宗、陆仲亨、华云龙、郑遇春、郭兴、郭英、胡海、张龙、陈桓、谢成、李新、张赫、张铨、周德兴。他们都是穷苦的庄稼汉。从此次南行，便成了朱元璋闯荡江山的亲信骨干和时代的风云人物。后来，三人封公，二十一人封侯（耿再成和花云开国前战死，公与侯为追封），全部做了名垂青史的开国功臣。不过此次定远之行并不顺利，走到中途，元璋病倒了，高烧，寒噤，说胡话，竟至不省人事。他们只好折回濠州。
至正十四年（1354）春。元璋大病初愈，心情正有些烦闷，忽听门外竹杖策地而过，并发出声声叹息。元璋便问道：“好像是元帅的声音。不知为什么叹气？”他的夫人告诉他：“听说定远张家堡驴牌寨有三干兵马，孤立无援，又断了粮草，想来投靠，又有些犹豫。父帅正好有朋友在那里，机会难得。可是想不出合适的人前往说降。想来是为这件事愁闷。”元璋听罢，急命夫人搀扶着走到郭子兴的房间。说明来意之后，子兴说：“我也想到此事非你办不了，但眼下你这个身体，怎么可以当此劳累呢？”元璋说：“这个节骨眼上能是高枕养病的时候吗？如果失掉这个机会，被别人先走一步，再后悔也就迟了。”子兴看他态度坚决，便也十分高兴，问道：“你看要带多少人去？”元璋说：“人多了，反倒容易引起疑心。我看十个就够了。”于是，选费聚等两个骑士和九个步卒随同前往。
这一天，刚走到定远县界，已近六月天气，太阳烤得火热。元璋虚弱的身体有些不支，一下子晕倒了。部下劝他休息几天再走，元璋勉强支撑着往前赶路。眼下就是宝公河，隔河已能望见对面驴牌寨营盘。忽然间，但见营中摆列出军阵。几个步卒十分恐慌，打算掉头逃跑，元璋一声喝住，说道：“彼众我寡，你能跑到哪里去？他们只要放马过来，哪个也逃不掉。你们不要怕，都随我前去，各听命令，见机行事。”几个人才镇静下来。这时营中走出两个将领，举起手高声喊道：“前面来将，到这里干什么？”元璋高坐马上，命入回说：“从濠州来，与你们主帅议事！”两个将领返回去，大约是去通报，一会儿，又出营喊道：“请下马！”元璋下马，准备渡水。因久病体虚，行路艰难，费聚走上前去扶住，劝元璋留下，要求代他前往。元璋说：“今天来到此地，与大家祸福与共，哪里可以代替。”遂一起涉水前往。上了岸，寨里的主帅也迎了出来。主帅问道：“既然从郭公那里来，不知有什么吩咐？”元璋说：“郭元帅与将军是旧交，听说将军粮饷艰难，别人想趁火打劫，特派我来相告：能相从则一起到濠州同聚，不然，请暂时移兵躲避一下，免得遭人暗算。”寨帅很高兴，请元璋留下信物，并拿出牛脯来招待，答应几天以后，稍作准备即拔队前往濠州，请元璋暂且回去。元璋留下费聚等三人，率几个人先回到濠州。三天以后，费聚报告说，寨主想要往别处转移。元璋急率三百步骑赶到，对寨帅说：“你受到别人的欺侮，仇怨未报。我家主帅说，你即使一同北去，也难消此恨，故派我带来三百人马助你一臂之力。报完此仇，再一起北行不迟。”寨帅将信将疑，防备愈严。元璋见此情状，想到已非言语所能打动，便决定以计袭取。他让一个有胆量的兵士向寨帅报告说，寨中有两个弟兄在郊外杀伤了朱总管的人，朱总管请寨帅务必亲自去一趟，验看现场，予以处理。待寨帅赶到，元璋的兵一下将他围住。元璋再次向他申明周围形势的危机，要他立即下定决心。寨帅实际已经做了俘虏，也就只好顺水推舟。走出十里开外，便由一个事先买通的寨帅亲信拿了寨帅令牌回营传谕：大帅已在前面布置营地，命令立即转移。于是将士们慌乱拔营而去，驴牌寨营盘也被一把火烧成废垒。经过改编，这三千兵马就隶属于元璋的麾下。
这时，定远县同其他混乱地区一样，兵匪如蝗，军寨林立。有的是游兵团聚，有的是财主结寨自保。收降和袭取这些军寨和围子是壮大势力的捷径。凭着手中的三干人马，元璋说降了豁鼻山的秦把头，得部众八百。接着就矛头东指，准备袭取横涧山。这横涧山上团聚着元朝的一大股游兵。寨帅名叫缪大亨，定远人，颇有家财，元末大乱，在横涧山聚众自保，曾跟随元兵去攻打濠州，元朝授予义兵元帅，并派了个姓张的知枢密院做监军。濠州兵溃，缪大亨与张知院重新占据横涧山，聚众男女七万人，颇有粮草。元璋命猛将花云率队夜袭营寨，一举成功，缪大亨与张知院落荒而逃。天明，缪大亨收拾残卒，列阵再战，元璋让缪大亨的叔叔前去劝降，缪大亨便收军跟随了元璋。后来，缪大亨做到扬州、镇江总制，死于军中。元璋从七万人中挑选了两万精壮，加上原来的部队，已接近三万。元璋越来越感觉到，兵不在多而在精，乌合之众，绝没有战斗力。于是对这支队伍作了重新编制，认真训练。结合几次战斗经历，元璋集合全军发表训话：“各位弟兄，我现在有一句话要问，你们原来人并不少，为什么很快败在我的手下，那就是将无纪律，兵不训练。大家要建功立业，就要万众一心，严格训练，守纪律，知进止，奋力拼杀。今后，一定是有功者赏，有过者罚。有谁敢于违抗命令，我刀下不饶。”众人一呼百应，声震山冈。横涧山上，格斗厮杀，训将练兵，搞得热火朝天。朱元璋之名传遍了定远上下。
部队离开了横涧山。这天，元璋率队从妙山脚下经过，忽听山上细乐声起，路两旁接着排起欢迎的人群，有人提了水，有人端了盛着饭的藤筐，大概做的是“簟食壶浆以迎王师”的仪式。元璋第一次经历这样的场面，怕有些蹊跷，让人问是怎么回事，来人回答，他们寨主正在赶着下山迎接将军，请将军能屈尊到山上一叙。元璋倒也想看个究竟，稍作安排，就带领几个人上了山。
邀元璋的是定远县冯国用、冯国胜兄弟。两个都是二十岁上下的青年。他们靠着祖上积蓄的一些产业，专好习弄刀箭。国用长得文雅，有点书生气；国胜则面阔口方，高头大马，练就一手百步穿杨的好箭法。兄弟二人又都喜欢读兵书，钻研攻防计略，成为远近闻名的文武全才。元末，群雄并起，他们也拉起队伍，结寨于妙山。元璋智取驴牌寨，义说秦把头，夜袭横涧山，整军部伍，师行庄严，使二兄弟很是佩服，便有投靠之意。这天打听他恰从山下经过，便事先作了准备。元璋被请上山寨，简略交谈后，彼此都有些倾慕。元璋问起平定天下有什么高见，国用回答：“书生有六字相告。”元璋急忙请教，国用说：“有德昌，有势强。建康虎踞龙盘，帝王之都，拔而取之以为根本，成有势之强。然后命将出师，倡仁义，收人心，不贪子女玉帛，则为有德之昌。而后天下可定。”听到这番议论，那真可以用顿开茅塞几个字来形容。自打从军以来，元璋还没有听见过这样清晰明白高瞻远瞩的谈话，他第一次感到读书人的高明。冯氏兄弟便做了他最早的幕中参谋。向建康即集庆路发展，成为他追求的目标。眼下的第一步，是兵发滁州。
元璋在定远的一举一动，还被另一个读书人密切注视着。他就是与元璋的帝位关系密切的李善长。李善长，原名元之，祖籍安徽歙县，生于元仁宗延祜元年（1314），比元璋大十四岁，小时候曾在歙县灵金山闭门苦读。年龄稍大，他发现元朝政府仇视汉人、鄙薄儒生的偏见根深蒂固，便唾弃科举，努力钻研一些文案书牍，长一些做吏的学问，觉得有机会跟了哪位蒙古老爷，说不定还能飞黄腾达。他又喜欢读兵家法家著作，探求里面的机谋权变、审时度势、利益原则。有时体味其中道理，推测人们的心理活动，预见某些事物的发展与结局，往往取得意想不到的成功。这增强了他的自尊自信，认为天生我材必有用，总有一天会取得相当的功名。无奈，元朝政府不给他提供任何升官做吏的机会。受徽州商人社会的影响，他决定弃文经商，来往于徽州定远之间。果然，他的预测与远虑优长在这里得到充分施展，因而很快发了财。他娶定远富室王家的女儿做妻，在定远安了家。财大气粗，加上计谋远略，“策事多中”，善长成为远近知名的人物。在元末的荒乱中，他偕妻小避居东山，把眼睛睁得大大的，密切注视着这场大的事变，等待着大显身手的时机。韩山童、刘福通之起，他的妻兄王濂迫不及待地入了伙，善长认为操切；郭子兴定远聚义，他依然静观。自然，这个赌注是万不可轻易一掷的。眼下，元璋的胆识和智慧，却使他隐约看到了希望，看到了“真龙天子”的幻影。冯氏兄弟主动投靠使他最后下定决心。当断则断，绝不可再犹豫迟疑，享大富贵必须共大患难。于是他把家稍作安排，就急急忙忙去追赶元璋的队伍。
至正十四年（1354）七月，善长四十二岁。他身着儒生服装，在元璋去滁州途中歇脚处请求召见。元璋听说来者就是定远名人李善长，不禁大喜。以自己的老谋深算，善长知道应该如何去打动这个野心勃勃的青年人的心。见面一揖之后，他一言不发，却对着元璋的相貌审视起来，而后，忽然兴奋地说道：“总算天有日民有主了。”一句话就抓住了元璋的心。元璋作为三万大军的统帅听到这句恭维话和做托钵僧时候听到什么贵不可言的话已经不可同日而语了。他急于问个明白，善长也有一肚皮计算要当面陈述，于是两个人越谈越投机。善长特别生动详细地描述了出身微贱的汉高祖刘邦取天下的故事，使元璋听得入了迷。你问我答，整整谈了一天，晚饭后，秉烛对坐，谈兴更浓，蜡烛换了一支又一支，不知不觉，东方已经露出了熹微的晨光。善长特意指出：“主公祖居沛县，正伺汉高祖同乡，山川王气，正应在主公身上。”元璋强作镇静，缓声说道：“照先生看，这四方战乱什么时候可以结束？”善长略作沉吟，慢慢作答：“汉高祖虽然出身布衣百姓，然而豁达大度，知入善任，不贪图眼前富贵享乐，不烧杀抢掠，五年就成就了帝业。今天的时局，与秦末有些相似。只要主公效法汉高祖，天下很快就会平定的。”善长这一席长谈，不但鼓起了元璋的雄心，而且对他今后的事业产生了深远的影响。他以当今的汉高祖自命，处处事事以刘邦为榜样。在他看来，李善长的到来，很可能就是萧何转世。于是任命善长做记室（秘书官），一切机密谋议都认真听取善长的意见和建议。他还希望善长担负起协调诸将的责任，对他说：“方今天下大乱，群雄四起，没有像先生这样有智谋的人是不行的。我见群雄中管文案和参与谋议的人，往往利用机会毁谤左右将帅，搞得人心离散，以致败亡。希望先生以此为戒，协调诸将，同心同德，共取大功。”善长连连称是。打这以后，善长就成了元璋的臂膀和心腹，担负起军师和后方供给的任务。
队伍继续向滁州进发。元璋率军走在前面，以黑脸花云统领几个轻骑为前导。行进之间，与滁州数千巡兵遭遇。花云举起长矛保护元璋，而后同元璋一起扬鞭跃马，杀向敌阵。敌兵边撤边说：“了不得，这个黑脸将军太厉害了，锋锐无法阻挡。”元璋的大部队也就乘胜掩杀过去。滁州城一举攻克，滁州沿山诸寨也望风归顺。
这年八月，元璋还添了两桩喜事。他的大嫂带着儿子驴儿即朱文正、二姐夫李贞带着儿子保儿（李文忠）经过九死一生，先后投奔而来。听到李贞说起二姐病饿而死的惨状，想到当初叔嫂生离死别，大家自不免感伤，面对目前的情景，又都觉得眺惚如在梦中。元璋见两个孩子腼腆中露出机灵，更是满心欢喜。李文忠这年十四岁，见着元璋一身华丽的衣服，十分新鲜，便拉着他的衣襟作耍，元璋随口说道：“外甥见舅如见娘噢！”说完有些哽咽，而后又破涕为笑。
且说此时的濠州城中，郭子兴正在经受煎熬。在一次战斗中，彭大中流矢而死，他的儿子彭早住当了鲁淮王，也不过是徒拥虚名，而赵君用却是大字头上戴帽成了天了。他控制了彭早住，又要报当初的一箭之仇，消灭郭子兴。他把子兴挟持到新攻取的泗州，准备在这里除掉他。
元璋不能不救子兴。子兴是他的恩人，他的上司。而且救出子兴，就是削弱了君用。但是又不能兵发泗州，那样正是中了君用的诡计。君用已经发来让他驻守泗州的命令，其险恶用心是很明白的。元璋便采用外交方式与他斗争。他派一个人到濠州，面见君用，陈说大义，晓以利害，谓：“方今海内混乱，正是收揽英雄的时候。大王昔日兵败彭城，投奔濠州，与郭公等相约，共守此城，以抗元兵。郭公开门延纳，推诚相待，大王才有今日。郭公对大王是有恩德的人。今大王不思报德，反而听小人之言，自剪羽翼，失豪杰之心，为大丈夫所不为。况且，郭公虽然好对付，他的部属尚众。杀了郭公，大王就能睡得安稳吗？万一郭公的部众不服，大王就不怕有人坐收渔人之利吗？”元璋以实力做后盾，再挑开濠州内部的矛盾，君用不能不再三斟酌。元璋又使人给君用的左右都送了大礼，子兴才将他一万多人马带出，转移到滁州城。
子兴入城，受到元璋隆重的欢迎。三万军马的整齐兵仗，严明号令，使子兴十分高兴。看看自己的部队，稀稀落落，松松垮垮，不由得心中不快，油然而生一种自惭形秽之感。况且，被人驱赶，狼狈来此，也觉得像是居人檐下。他不由得神经紧张起来：元璋心里会怎么看他？眼里还有这个丈人翁、大元帅吗？他手下的将领也充满妒意，有时子兴当着元璋责骂他们无能，进一步增强了他们对元璋的忌恨。元璋的处境左右为难。作为部下和晚辈，他不能得罪子兴，而只能加意恭奉，就是对那些老资格的将领，也要处处赔着小心。这样一来，这些将领们反倒神气起来，他们联成一气向子兴进谗言，说元璋作战不利，说他背后对元帅有怨气。他们知道元璋把战利品多分给部下，便把掠夺的财物更多地献给子兴，乘机言说元璋眼里没有元帅。子兴觉得他的自尊似乎真的受了伤害，于是对元璋越来越疑虑，越来越刻薄。重要的战斗不再派元璋做统军，实际上剥夺了他的兵权。接着又把他的属员一个个调到元帅帐下。这不，眼下又要把他的智囊李善长拉过去，元璋也只得由他。李善长不是一个简单的角色，对目前的局势他早有分析，他了解子兴，更了解元璋。《易经》中有一句话，叫做“尺蠖之屈，以求伸也。龙蛇之蛰，以存身也”。元璋不就是那个以屈求伸的尺蠖虫步矩虫吗？不就是那个暂蛰于子兴下面的龙蛇吗？眼下，他只能委曲求全。而且，退缩、忍辱，对他的部下，又何尝不是一种凝聚力呢？不到万不得已，元璋不会轻易行动。他有他的心腹，他的干将，一旦行动，哪个是他的对手？而在子兴方面，凭他的个性，以及双方的实力对比，断定他不敢贸然对元璋下毒手。善长对自己在这场冲突中的地位也有明白估量。他相信，自己顶得住，留下来，就是对元璋危局的一个支撑，就是元璋部属的一个稳定因素。显然，这是对他的忠诚的一次考验。主意一定，他就将子兴对他的谈话在元璋面前和盘托出。元璋说，既是主帅命令，怎么好违抗呢？善长声泪俱下，向元璋表示了绝不离开的决心，使元璋大受感动。善长建议，应该拿出些积极对策。一是走内线，通过夫人托两位岳母的门子；一是走下线，由善长去疏通子兴手下的将领们。二人依计而行。
由于子兴的刻意刁难，元璋夫妇在生活上也处境困难。子兴借粮饷紧张，对他们的伙食抠得很紧。夫人为保障元璋吃饱，只能自己忍饥挨饿。有一天，家里实在没东西吃了，夫人就到子兴那边的厨房里去帮忙，趁人不备，将一张刚刚出锅的烙饼贴在身上，用衣襟掩了，带给元璋。待从怀中取出，身上已烫出一个圆月似的焦疤。现在听元璋说要打点，便急将自己的一点私蓄倾出，手下将领们的献纳，也暂不分散，而统统孝敬了两位张夫人。真是钱能通神，二张夫人果然十分喜欢，子兴的态度也渐渐有了改变。善长那边，凭着他的伶俐与狡黠，将领们的脸色也慢慢友善起来。
至正十四年（1354）十一月，赵君用、孙德崖他们驻守六合的部队遭到丞相脱脱的重兵围困，情势危机，六合方面派出使者，夜访元璋，请求兵援。元璋不想单独深夜接纳，便隔门同他交谈，然后请示子兴，是否开门放使者进来。子兴一听说是濠州方面的人，气便不打一处来，任凭使者苦苦哀求，子兴就是不答应。元璋给子兴分析利害，向他说明，六合近在咫尺，它一旦失守，滁州在所难免。从保卫滁州计，也应该急速发兵，万不可因小恨而误了大事。子兴方始同意增援。第二天军帐点将，那些平日骄纵的将领们一个个谈虎色变，都说，求问过神灵，出师不吉。子兴只好命元璋统兵前往，也让他祈祷神灵，问个吉凶。元璋说：“凡事可行不可行，应该据以理，断于心，何必去求问神灵！”于是率众东下六合，抢占瓦梁垒要塞。元将集大队攻击，元璋率耿再成死死固守。无奈寡不敌众，几次都险些陷落。显然，不能硬拼，只能智取。元璋敛兵入垒，派出一些妇女对着元兵倚门指着大骂，元兵被这种突如其来的场面弄得惊愕无措，而后又见垒内放出一些牛群，妇女居中追赶，丁壮在两旁护卫。元兵更不敢近前。眼见她们大摇大摆退回营中并向滁州方面撤退，元将这才觉得是受了奚落，于是催队急追。耿再成边打边退，把元军引到滁州城外的山涧。顿时，伏兵四起，城中将士也鼓噪呐喊而出。元兵丢盔弃甲，大败而逃。
一场滁州保卫战考验了元璋的勇敢，也显示出了他的智慧，将领们不能不服，连子兴也真的刮目相看了。
至正十五年（1355）的春节子兴过得真是少有的痛快，虽然几万人的粮饷使人困扰，但赵君用、孙德崖终于在他面前弯了腰，而且出师大捷，滁州奠安。他往日的郁闷之气，今天方得一舒。于是，也想效法彭大、赵君用，从大元帅高升一步，据地称王。元璋认为，目下形势仍很严峻。滁州弹丸山城，舟船不通，商贾不集，山塞之区，供应困难，绝非长久盘踞之地，因而极力劝说子兴不忙于在此地称王。子兴被扫了兴头，自然是老大的不快，但想一想也不无道理，便命将领们快一点商议，下一步应该往哪里发展。
元璋心力交瘁，再次病倒。各将领七嘴八舌，也说不出个所以然。子兴命元璋帐前议事，元璋只好抱病前往。元璋献计说：“眼下几万军队困守孤城，绝不能持久。西南百里之外的和州，处于长江北岸，退可守，进可攻，占据了它，天地就宽广了。”子兴说：“那里有元朝重兵驻守，城小而坚固，怕不易攻取。”元璋说：“元帅虑得极是。所以我想只能以计取，不能以力胜。”随即说出他的计取方案：“让刚刚收编的庐州三干寨兵仍做元兵装束，穿青色衣服，用四只骆驼带着货物，声言庐州兵送使者到和州犒赏将士，赚开城门；派一万人马尾后十里，可穿绛红衣服，以便联络。城门开处，青衣举火为号，绛衣催队鼓行，便可以轻取。”子兴与众将大喜。遂派子兴的妻弟张天祜领青衣兵，赵继祖扮成元朝使者，为前导，耿再成率一万绛衣继后，按计而行。
正月二十一日，扮成元兵的张天祜青衣部队到达距离和州四十里的陡阳关，受到当地乡绅的酒肉犒劳，耽误了一些时间，待拔队前行，又走岔了道。耿再成等到约定时间，不见举火信号，以为天祜已经到了城下，便催队疾进，元兵发现红军攻城，急忙关闭城门，放下吊桥，派出部队迎战。耿再成的部队猝不及防，一时乱了阵脚，耿再成也中箭后退，部队便纷纷溃散。元兵追击三十里到千秋坝，天色近晚，便鸣金收兵。这时，张天祜的队伍恰恰赶到这里，又给元兵一个猝不及防；疲惫不堪的元兵调头回奔，张天祜紧追不舍。到小西门，元兵全部进城，正要收起吊桥，总管汤和一步跨上，砍断了吊索，张天祜等随即沿桥大呼登城，城内立时大乱，守将也先帖木儿仓皇乘夜逃遁。和州被拿了下来。
再说耿再成的败兵回到滁州，报告了惨败经过，还说张天祜全军覆没了。子兴十分沮丧。接着又有禀报，说元兵即将攻城，招降使者已到了城外。子兴更加恐慌。他一边埋怨元璋攻打和州的计策失算，一边还得把元璋召来商议对策。眼下，部队大都在外面作战，城守力量很单薄，元璋决定将四门守兵集中在南门，在街市做起垒障，而后呼使者入城，命令他膝行见子兴。就这样，子兴仍旧心里发慌，与使者谈话多失大体。将领们和子兴都主张将使者杀掉，元璋不同意，说：“现在城内空虚，杀掉使者灭口，更显出我们虚怯，会坚定他们攻城决心，不如将使者放回去，临行时有意让他瞥见我们摆好的威武军阵，然后以大言恐吓。只要这个丧胆的使者回去长我们的志气，就不怕官兵不退。”子兴依从了。这支元军本来无心恋战，听到使者对城内绘声绘色的描述，果然撤围而去。
张天祜占领和州，抢掠烧杀，军纪败坏，未能控制住局势，他想再经一番劫掠之后退出和州，也就不急于向滁州报告战况。子兴不知道和州已经到手，便命元璋统领两干兵马沿路收拾败卒，俟机攻打和州。元璋一路收罗了一千溃兵，合共三干人抵达陡阳关。命大队原地休息，待天黑时，每人燃十只火炬，作为疑兵。元璋亲自统率镇抚徐达、参谋李善长及十几个骁勇骑兵直奔和州，打算傍晚待机进攻。当他们走到和州城下，方知道张天祜的旗帜已经飘在城头，大队人马才欢天喜地地开进城去。
元璋协助天祜部署防务，稳定局势。这时恰值元兵组织反攻。元璋见集结北门的元兵刚渡过护城河，立足未稳，即命部队开门冲击，元兵在后退中纷纷落水，大败而归。战报送到滁州，郭子兴任命元璋为和州总兵，统率和州军马。
元璋知道，这个总兵并不好做。这些将领多数是子兴的旧部，一向骄横颟顸，资格比自己老，年龄比自己大，如果立即宣布子兴命令，拿出总兵的款儿来升堂议事，反倒会搞砸了，不如这般如此。便命令将议事厅的公座撤掉，一概换成小木椅。每天五鼓议事，诸将先到，就把右首上座依次占据了，留给元璋的是左下首的末座。元璋也就款款就座。但每到商议军政，将领们一个个呆头呆脑，像泥胎木偶，不能置一词，元璋却能剖决如流，处理得恰当妥帖。众人不能不稍稍收敛。为加强防御，决定修筑和州瓮城，各将领分段包干，限期完工。将领们玩嬉成性，根本不把它当回事。三天以后验工，只有元璋负责的一段完好竣工。元璋便把脸沉下来，在议事厅正中南向落座，把郭子兴的委任状摆在桌子上，命诸将近前观看，随即说道：“总兵，是主帅的命令。既为总兵，就不能没个纪律约束。现在瓮城，你们都违约失期，该当何罪？”将领们都吓黄了脸，屈身战栗，不敢仰视。元璋稍稍缓和一下口气：“念大家都是主帅的旧人，又是初犯，这次就免了。从今天为始，再有违令玩法，就顾不得谁是有头有脸的，一定军法从事！”诸将一个个连连称是，才晓得这个一向谦恭和善的年轻人不可戏侮。
这一天，元璋带着幕僚范常走出衙门，见到一个小孩子立在门外往里张望，元璋问：“你在这里看什么？”小孩子说：“等我爹。”问：“你爹在哪里？”答：“在官家养马。”问：“你娘呢？”答：“也在官家门下。爹说，他不敢认娘，只能喊他妹妹。娘不能回家。爹能回家，可到现在还没回来。我不敢进门，每天在这里等爹。”元璋听了很难过。范常是个读书人，在滁州拜谒元璋，做了他的幕宾，很受信任。这时也对元璋说：“得一个城池而使百姓肝脑涂地，怎么能够成就大事。听说那些将军们破城的时候，杀戮抢掠，夫妇不能相保。有个人写过一首诗，其中说道：‘淮西军来乙未岁，和州杀人乱如麻。’像这个孩子的遭遇还不是最惨的！”听了这些话，元璋决定先从交还妇女做起，整顿纪律。第二天，他把所有军官召集在一起，说道：“大家从滁州来到这里，有一些人掳人家的妻女，使百姓夫妇离散，敢怒不敢言。军队没有纪律，只能扰民，怎么能安众？今天，你们能够把所得的妇女交出来，咱们万事皆休，倘若霸占隐瞒，绝不轻饶。”众军官只好乖乖地听命。于是令城中男子集中在州衙前，站立两旁，让妇女一个个从衙中走出，宣布：“果真是夫妇，就相认；不是夫妇，不得随便认领。”于是夫妇携手而归，家庭得以团聚。部队在百姓们心中的形象也有了改变。元璋只让有夫之妇家庭完聚，对掠夺的未婚女子，未予追究，也是对这些一向淫掠的鲁莽将校们的一种妥协。
从正月二十四日起，元朝集结十万大军围攻和州。太子秃坚以及枢密院副使绊住马、民兵元帅陈野先各率部队分屯新塘、高望、青山、鸡笼山等要塞，截断运道，作久困之计。元璋以一万人拒守。虽然众寡悬殊，但元璋的仗打得很灵活。他不一味固守，而是时常出奇兵袭击敌人营寨，搞得元兵死伤严重、惊恐不安。两个月之后，他们不得不败退到长江南岸去。自然，和州城内也人困马乏，粮饷短缺。
三月，青黄不接，饥饿成了淮西军队的主要威胁。濠州的部队面临着死亡与溃散。孙德崖等人拉起队伍南下，到和州就食。先是活动于四境，而后请求入城暂居几个月。孙德崖等人马众多，而且是饥饿如狼，朱元璋则是伤残疲惫之余，而且元兵隔江虎视。显然只能容忍、迁就，不能火并。但当孙德崖的大部队开进和州不久，这边的谗言也就递到了滁州郭子兴那里。郭子兴怒火中烧，随即带队趱行，直奔和州大兴问罪之师。元璋闻讯，对手下说：“元帅白天不到，晚间就要到来。不管什么时候，一定要及时禀报，我要亲自去迎接。”子兴果然晚间赶到了城下。谁知进谗的人安排了自己的亲信守门。他们没有通知元璋而把子兴引进了馆驿（招待所）。这样的冷落与羞辱，子兴更不能容忍。待元璋闻讯赶到馆驿，子兴根本不予理睬。元璋谦恭站立，赔罪不迭。足足站了有一顿饭食的工夫，子兴才稍消怒气，嗔目问道：“你是谁呀？”元璋称名恭对。子兴说：“你知罪吗？”答：“元璋诚知有罪。但是咱们家里的事情，任凭元帅怎么处理都可以。只是外面的事情要快一点想个办法。”子兴问：“什么是外面的事？”元璋答：“孙德崖现在就住在城里，他的人马比我们多得多。前次元帅蒙难，我们实际上丢了他的脸，破了他的家。今天听到元帅到此，他一旦报复怎么办？”子兴顿时觉得自己跑来的鲁莽，那乌云雷霆一下子消散了。他命令元璋回去及早提防。
且说孙德崖听到郭子兴星夜秘密到来，心里也忐忑不安。黎明时分就遣人报告元璋：“你家岳翁突然来此，我居住不便，想即刻拔队到其他地方去。”元璋心里一惊，恐怕生出变故，遂派人通知子兴，一面急去面见孙德崖，问道：“大帅为什么急着离开，是不是末将有什么得罪的地方。”孙德崖说：“承蒙将军看得起我孙某，给个安身之处，但你家岳翁很难共事，我还是早一点离开的好。”元璋觉得似乎没有什么异常，也就放下心来，因说道：“既是大帅执意要走，我也不好强留。只是两军共处一城，一军忽然有大行动，恐怕引起震动，如果下面的人再有处得不和谐的，也容易滋事。是否请大队先发，大帅留后，免得生出麻烦。”孙德崖表示同意。
孙德崖等人的部队离城而去。元璋等人为他的部将们在郊外设酒送行。又走出二十几里，忽然飞报城中孙德崖与郭子兴的两支部队打起来了。元璋急命同来的耿炳文、吴桢一起打马回奔。孙德崖的部将也就掉头紧追。迎路而来的孙军都亮出了兵器。元璋无奈，手上又没有刀剑，就冲着有熟人的部队奔去。这些人没有伤害他，可其中一人紧抓住他的马勒不放，一边质问道：“你们城中为什么杀我们的弟兄？”元璋说：“我因为送朋友出了城，城中发生的事怎么知道？”众人不听，拥着他的马往前走。元璋说：“你们那么多入看我一个人，何必这样呢？”有一个熟人说：“且松开他的马勒。”那人一松手，元璋一鞭抽下，马狂奔而去。众骑追赶，跑出去十余里，元璋又被追兵打下马来，旁边恰有一个熟人，急喊元璋跨上他的坐骑，二人同载飞奔。跑了几里，被孙德崖的弟弟再次打下马。正要举刀砍杀，一个姓张的熟人上前挡住，说道：“现在孙帅在和州，生死未卜，万一无事，先杀了朱公子，郭元帅怎能饶过孙帅。不如留着朱公子做个人质。”于是让张某前去看个究竟。张某人城，但见孙德崖被锁着颈项正与郭子兴同桌共饮。便急忙返回来报告说：“幸亏没有做傻事，孙帅正在郭帅手里，此事并不难办。”张某日夜守护元璋，恐怕遭遇不测。郭子兴听说元璋落在孙德崖弟弟手中，也慌了手脚，眼下连商量个主意的人都没有，就更想起元璋的好处。他急急派出徐达几个人前去替代元璋，德崖的弟弟等人先是不同意，张某反复劝说，并保证能换回孙帅，元璋才被放回去。子兴万不得已，也放回孙德崖，徐达等也安全回到和州，一场暴风雨终于消散。
郭子兴和州弄险，非但没能奈何得了孙德崖，反而给自己惹一场虚惊，弄一个没脸，心里越想越窝火，越憋气。渐渐地，他一病不起，死在了和州。郭子兴刚愎自用而心胸狭窄，元璋在他手下不能不委曲求全、忍辱负重、然而他的事业正是在这里起步。
郭子兴之死，并没有在和州和滁州引起太大的震动和混乱。这支部队的主要创建者和指挥者是朱元璋，有资格与他相较量的是郭子兴的妻弟张天祜和两个儿子郭天叙、郭天爵，他们也有小小的动作，只是元璋没太放在眼里。此事还要从韩林儿和刘福通说起。
白鹿庄起义，韩山童被捕杀，他的夫人杨氏携带儿子韩林儿逃往武安（今徐州）的一个大山中藏身。至正十五年（1355）二月，刘福通等人在砀山夹河访到了韩林儿母子，把他们迎到毫州，随即立林儿为皇帝，称小明王，建国号日宋，以龙凤纪年，拆取鹿邑县太清官的材料在亳州建造宫殿。尊杨氏为皇太后，杜遵道、盛文郁为丞相，刘福通、罗文素为平章政事，刘福通的弟弟刘六知枢密院事。这是长江以北最强盛的一支红巾军，又是首义的最高教主，自然有资格统领各地红军。四月，他们派使者到和州联络。这时，元璋正率部平定和州西南的民寨，城中由张天祜留守。张天祜正愿意受小明王的庇荫，以壮大自己的声势。城中诸将领也自觉不是对手，害怕得罪小明王，怂恿张天祜随使者前去朝拜。张天祜如愿以偿，从亳州带回了杜遵道的任命状：以郭天叙为都元帅，张天祜为右副元帅，朱元璋为左副元帅。这就等于剥夺了元璋对这支部队的指挥权。张天祜也真是异想天开。想当初刚占领和州的时候，朱元璋略施小技，已使他屁滚尿流，目前，他又怎能左右局势？再说，元璋以开辟之功，可以蜷曲于郭子兴的深潭之下，却怎么能够困顿于他们这些人的浅流之中？元璋对于张天祜、郭天叙这几个小泥鳅的小手法干脆来个不承认主义。当张天祜宣布杜遵道的任命状时，元璋正色说道：“大丈夫自有自己的事业，怎么能受制于人呢？”张、郭几位看看元璋旁边那些纠纠武夫怒目而视的神态，只好干咳几声，扫兴作罢。不过元璋也不愿意与小明王为敌，而宁愿借助他们的屏障，减轻元军压力，求得发展空间，因而对张天祜他们说：“宋国皇帝那边既有使者和檄令到来，天祜这一趟去得也很有道理。现在各路豪杰正应该携起手来，共抗元兵。今后，我们就算宋朝的部属，奉龙凤年号为正朔。自然，我们有我们的部队、我们的军纪，不论是谁都不准自作主张乱了章法。”一场风波就此过去，军权转移就此完成。郭氏兄弟与张天祜敢怒而不敢言，只是一府三帅，局面也相当尴尬，这支军队依然笼罩着阴影。
小张夫人是一个绝顶聪明的人，她知道过去子兴与元璋的矛盾，也感觉到现在元璋与郭家隐藏的危机，她过去保护过元璋，现在无疑要依靠元璋的保护。于是，她把自己的女儿嫁给了元璋做第二夫人，成了元璋名副其实的岳母，这位第二夫人就是后来的郭惠妃。
就像是搬开石头以后昂首挺身的一棵树苗，元璋的好运几乎是接连而至。一天，有人禀报，郭兴、郭英二位将军求见。元璋心想，这郭四（郭英）弟兄两个搞什么名堂，你们本来就是我帐前护卫，怎么今天倒禀名而进。于是狡黠一笑，命令：“帐前回话。”转眼之间，但见郭氏兄弟拥一个花枝招展的姑娘进来。未等元璋问话，郭兴便说：“元帅切莫问，请先看看她是谁？”元璋觉得似曾相识，但怎么也记不起了。笑道：“别打哑谜了。这是怎么回事？”郭兴拿出一纸，呈递元璋，敛容说道：“这是家父书信一封，望元帅千万给个脸面。”元璋一看，是郭山甫写来的求婚书信。原来面前这位娇羞的姑娘是郭氏兄弟的妹妹、郭山甫的女儿，怪不得有些眼熟，只是比小时候出脱得更俊秀了。这位郭山甫就是最早说元璋将会大富大贵的那位相面先生。郭子兴濠州称帅，他就让郭兴、郭英二兄弟投了军。待朱元璋做了郭子兴的义婿，郭氏兄弟就主动与元璋交结，成了他的亲信宿卫。现在元璋做了和州实际上的统兵大帅，郭山甫更相信自己眼力灼灼、判断不误，立意要攀结这门亲事，并告诉郭兴、郭英：“‘君王舅子三公位，宰相家人七品官’，你们的富贵，就全仰仗你妹妹了。”郭氏兄弟便遵照父亲的教导，把妹妹送上门来。结成这门亲事，自然能换得郭氏兄弟更大的忠诚，郭姑娘的楚楚之态，也实在令元璋心动。而郭山甫未卜先知，似果真有些灵验，他的这个举措，又恰是一个吉兆。元璋不禁打心里高兴。于是，择吉完婚，元璋收了第三房夫人。这就是以后很得宠的郭宁妃。郭英、郭兴以军功封侯，郭山甫赠爵营国公，这是后话。
四月二十一日，元璋带护卫在城郊巡视，又收了一员大将常遇春。这常遇春是濠州属县怀远人，生得相貌奇伟，有一身好气力，两只臂膀长大如猿，弯弓射箭百发百中。至正十二年（1352），二十三岁。他没有去濠州投奔郭子兴，而是跟随本县一个叫刘聚的人落了草。这个刘聚虽然看重遇春，但无非在方圆十几里范围内称王称霸，烧杀劫掠，使遇春大为失望。至正十五年（1355）濠州遍地饥馑，遇春带领几十个人到各地游食劫掠，沿路访得有一个朱总管兵强马壮、不杀不掳，便一路投奔而来。据说，他在和州城外的田地里正困乏而卧，梦见一个披甲金神以盾牌推他说：“快起来，主君到了。”随即惊醒，正巧元璋带队走到前面。是遇春真做了这个梦，还是他当时或后来捣鬼，都无从考证。不过，元璋一见此人，便非常喜欢。为了考验他的诚意，元璋起初并没让他打仗。这倒把遇春弄糊涂了，也憋闷坏了。有一次出征，他坚决要求做先锋打头阵，元璋说：“你自有你的主人，你到这里来，不过是因为饥饿，我怎么好留你在身边呢？”遇春一听这话，急得脸红到脖颈，再三要求出征，元璋执意不允，这个七尺莽汉竟至呜呜哭泣起来。元璋说道：“既然你有诚心，就随我一同渡江，到那时我一定有重要差使给你。”原来，此时元璋已在作渡江准备，在为渡江物色勇士。常遇春后来成为元璋手下仅次于徐达的第二员统帅和战将，为明朝开国立下汗马功劳。
饥荒威胁着和州。而一江之隔的对岸太平、芜湖，就是仓廒之区、鱼米之乡，就凭这个强大的吸引力，也足以鼓起他的饥饿之兵的勇气。况且，跨过长江，占领金陵，是多少谋士的妙算，多少梦魂的回绕。自从子兴去世之后，他多次去江边眺望勘察，面对着长江的滚滚波涛，他的思绪逐浪翻腾。他相信，一旦打过长江，他的事业就会像这江浪涌天，不可遏制，一切都必须从速准备。眼下最令人着恼焦躁的，是往哪里去寻找战船和有过训练的水军。
正像俗语说的，踏破铁鞋无觅处，得来全不费工夫。至正十五年（1355）五月初二，元璋正在愁眉紧锁，忽报巢湖水寨有人求见。元璋想，这怕不是做梦吧，随即一声“快请”。来人叫俞通海，正是来联系捌顺的。待俞通海离去之后，元璋狂喜不能自持，对着李善长、徐达等人欢呼道：“真是天助我也。正要渡江，巢湖水师自天而降，我的大事可成了。”
巢湖水师也是白莲教徒团聚成军，它不属韩林儿东系系统，而是彭莹玉西系系统。元朝末年，彭莹玉女弟子金花小姐被巢湖区域白莲教徒所尊崇，至正十一二年间，乘势而起，拉起队伍，李普胜即李扒头、巢县俞廷玉和他的三个儿子俞通海、俞通源、俞通渊以及廖永坚、廖永安、廖永忠兄弟都是得力战将。同时而起的，还有赵普胜、左君弼。赵普胜，骁勇敢斗，善使双刀，人称双刀赵，是叱咤于长江南北的一员猛将。左君弼也是白莲教首，他在攻占庐州后割地自保，投降了元王朝。至正十四年（1354）金花小姐战死，李普胜即李扒头占领无为州。赵普胜从江南返回占领了含山县。廖氏兄弟也曾追随彭莹玉、徐寿辉转战大江南北，永坚做了徐寿辉的参政，永安提升为万户。至正十三年（1353），彭莹玉、徐寿辉部在江西受挫，廖永安、廖永忠兄弟率队回乡，与俞廷玉父子及李普胜、赵普胜等水师联合，结寨巢湖，巢县赵仲中、赵庸兄弟，合肥张德胜、叶升、无为桑世杰，含山华高等，也整队前来，号称战船干艘，部众万余，自称彭祖家。这支部队虽然雄劲，但却受到庐州强敌左君弼的巨大压力，随时有被吞并的危险，这才决定主动投靠元璋。他们三次派遣使者前往，请朱部尽快派人接管，以免夜长梦多、部队散乱。
元璋亲自率兵来到巢湖水寨。李普胜、俞廷玉、廖永安等整齐船舰，列队欢迎。为避免变出非常，他们在察看了水道之后，便想很快将船队带出巢湖。原打算从铜城闸、马肠河通过，发现元中丞蛮子海牙已经在这里布置了重兵，惟一一个小河汊未被封锁，但水道浅涸，大船根本无法通过。干艘战船被困，元璋心急如焚。岂料这天傍晚竟至闪电雷鸣，瓢泼似的大雨从天上灌下来，不到几个时辰，不但河水暴涨，舟行无阻，就是平陆也水深丈余，任你船舰横行。这不但是个出师的利市，简直就是个奇迹。帆樯遮天盖地，像一片巨大的云阵，缓缓驶离巢湖。船行至黄墩地方，到了赵普胜的驻地，赵普胜的心里也越来越矛盾。想当初，他双刀赵在长江两岸是何等威风，就是退居巢湖，仍被尊为万人统帅。现在似乎是穷途末路，寄人篱下，而受制于一个二十凡岁的年轻人，实在是于心不甘。他与手下心腹密议，准备拉出队伍，独立闯荡。赵普胜从一开始就态度暧昧，所以他一直处在俞通海、廖永安、张德胜、华高等人的严密监视之中。这时他们将赵普胜的动向报告了元璋，提请他注意提防。元璋声言要与蛮子海牙决战，对部队进行了重新编制和部署，削弱了赵普胜的指挥权。赵普胜见预谋泄露，只好连夜率领部分亲信离队，渡过长江投奔徐寿辉去了。
大部水军安全抵达和州，任命廖永安、张德胜、俞通海等为水军统帅，加紧训练。为保证渡顺利，显然要先拔掉蛮子海牙这个钉子，以免腹背受敌。凭借着这万人水师，元璋又征调了大批商船，配以挑选出来的猛士，于五月十七日扯帆出发，当日抵达长江边上的峪溪口，与蛮子海牙展开大战。蛮子海牙的战舰既高且大，进退困难。廖永安兄弟、张德胜等操纵轻舟，行进自如，来往如飞，左挑右击，把元军船队搞得进退失据，自相撞击，只好狼狈而逃。永安等乘胜追击，败敌于青沙坊，连克鲚鱼洲以及铁长官、新生沙二寨，俘获大批战船。蛮子海牙被赶到长江以南，和州附近江北元水师彻底肃清，为渡江作战扫清了道路。
五月二十五日，渡江计划在紧张讨论之中。一些将领求胜心切，主张直捣集庆（南京）。对很多人来说，这个六朝古都、江南佳丽，简直就是楼丛瓦市，金银遍地，美女如云，所以一听人说直取集庆，无不欢喜鼓掌，极表赞成。对元璋来说，迈出这一步，就好比赴汤蹈火。一向多少梦回事，而今即到眼前来，他的腿脚反倒不敢举起，不敢落下。这一步太关键了，生死攸关啊。兵发集庆，顺流而下，对将士诱惑力强，一旦成功，声威大震。然而一旦失败呢？集庆是元王朝江南心腹重镇，兵多将众，布防严密，而他的部队只有攻州打县的经验，怎么可以对付这样的恶仗？再说，上游元兵假如也顺流而下，岂不是正好把自己夹在中间，腹背受敌，两头挨打？显然，直接打集庆的主意并不可取。那么攻击点应该放在哪里呢？他想到李善长、冯国用、范常他们讲过的历史经验。当年，西晋武帝司马炎灭孙昊，大将王浑就是走的和州一路，他渡江先取采石矶，配合王浚武昌水师，攻取建业（今南京）。南北朝时候，侯景率八百兵士灭萧梁，取道滁州、和州，也不是顺流取建康（今南京），而是先攻采石。隋朝大将庐州总管韩擒虎灭陈、北宋大将曹彬灭南唐，无一不是迂道攻取采石。原因就在于采石山突出大江，形势险峻，屯兵把守，恰扼江道，为集庆上游的咽喉。想到这些，元璋一下子心里豁亮了：取采石，战太平，扼守险要，锻炼部队，壮大声威，俟机东下。
至正十五年（1355）六月初一，朝霞撒空，风清气爽，元璋率先登舟，徐达、冯国用、邵荣、汤和、李善长、常遇春、邓愈、耿君用、毛广、廖永安等各引船随行。前面是正规舰队，后面是芦苇扎起的木筏。人们心情固然有些紧张，但都是少有的兴奋。原来打算乘黑夜渡，但傍晚船到江口，忽见大军后面西北方向几十里地方一片黑云铺天盖地而来，接着，雷电风雨大作，天昏地暗，雨下了整整一夜，只好暂作等待。第二天黎明时分，东方透出白色，阳光穿云射出，残云浅淡。但见西北风将浓云分两道架过江去，覆盖在采石的上空。舟驶东南，正好是一路顺风。于是舳舻齐发，战士欢呼雀跃。元璋与廖永安扬帆前导。永安问，向哪个方向突击。元璋告诉他：“采石是一个大镇，敌人必然重兵防御，旁边的牛渚矶，伸入江中，防守一定薄弱，从这里登岸，容易奏效。”永安便将船头直指牛渚矶。舟借风，风催舟，霎时间，干帆抵岸。防守元军前来抵抗，元璋麾众厮杀，敌兵边战边退，保聚牛渚矶。元璋方面船小岸高，怎么也攀不上矶岩。这时，只见常遇春飞舸驶来，到了矶下，挥戈直刺岸上元军。元兵见他单独闯阵，企图抓住他的戈矛，将他活捉。遇春趁他们抓戈的一瞬间，顺势跃上石矶，呼叫着杀人敌阵，元兵被他的勇悍所慑，吓得胆战心惊，纷纷败退，元璋乘机督军攀登，一路掩杀，遂攻克牛渚矶，横扫采石，沿江诸垒，望风归附。
呈现在和州饥饿将士面前的那些牛畜、粮食，比粒粒珍珠颗颗黄金还有诱惑力，元璋临行前不是说了吗？下江南，吃饱饭。这里果真遍地是宝啊。因此，也就不管是仓里的囤里的，官家的百姓的，是衣是粮，鸡鸭牛骡，你抢我夺，抢到手就往船上装载，一时秩序大乱。在这个时候，不要说喝住，你就是杀几个人也难以遏止。将士的心意很明白，他们要饱掠一番，回师大吉。元璋真是叫苦不迭。忽然，他把徐达叫到面前，吩咐道：“我们经过干辛万苦，今天好不容易打过江来，大家努力向前，才是正理，像这个样子，大家都抢一点财物回去，要再打过来可就难了。还说什么下江东，占金陵，成大事！你赶紧带一些人，把装满财物粮食的船只推入急流，把缆绳砍断。越快越好。”徐达应命而去。待将士们发现好多满载未满载的船只，顺流漂下，不觉十分惊奇。元璋这才派人纠集部队，秩序渐归平静。他朗声向部队解释：“我们成大事，不图小利。眼前就是太平路，那才是个富庶的去处，兄弟们到那里才会大开眼界！”这一鼓动，将士们果然转忧为喜，欢呼雀跃，以为是个发大财的好机会。接着便是犒军，好猪好牛好米饭，饱餐一顿，搞得士腾马欢。还是元璋前导，自观渡经太平桥东南行进，直驱太平城下。二十里路途，转眼即到，元平章完者不花，万户万钧、纳哈出、达鲁花赤昔里罕忽里、路总管靳仪、佥事张旭等闭门据守。元璋的兵将士气正盛，不到一个时辰就破城而人。完者不花与张旭等弃城逃走，纳哈出被俘。这天是六月初二，黎明渡江，部队进入太平城，太阳刚刚偏西。
将士们在采石的猎物被抛付东流，便攒着劲要在太平饱掠一场。他们哪里知道，还在采石未出发以前，元璋已命善长紧急起草并赶写《戒戢军士榜》。待到战斗一结束，士兵们刚刚腾出手来准备大发横财的时候，但见大街小巷贴满了榜文，说，敢有抢掠财物杀害百姓者，杀无赦。一个个吓得咋舌缩头，不敢胡来。也有几个傻大胆，不听约束，而真个被砍了脑袋，飞马游街，传首示众。于是，混乱纷扰立刻安顿下来，变得井然有序。不过，战事结束后，元璋还是把得到的金银财物按功行赏，军士们也自欢喜。