与此同时，朱元璋又策划陆仲亨的家奴告发陆仲亨与唐胜宗、费聚、赵雄三名侯爵，曾串通胡惟庸“共谋不轨”。一场“肃清逆党”的政治运动铺天盖地而来，到处侦捕，牵连蔓引，共有三万馀人被诛戮。连一向与胡惟庸关系疏远的“浙东四先生”也未能幸免，叶昇以“胡党”被杀，宋濂的孙子宋慎也牵连被杀，宋濂本人则贬死于四川茅州。为了平服人心，朱元璋特地颁布《昭示奸党录》，刊印多册，发往各地，晓谕臣民，以此为戒。胡惟庸案至此才算告一段落，前后迁延近十年。
株连多人
朱元璋建立明朝之初，设有宰相制，宰相都称为丞相，当时丞相共有左、右二员，左比右大，分任左、右丞相的是李善长和徐达两人。
朱元璋即帝位后，逐渐感到帝权与相权的冲突，唯恐臣下权力太大，会导致元末“宰相专权”、“臣操威福”的局面重演。有鉴于此，几次设法试图调整，以加强皇权。最早被杀的是中书左丞相杨宪。杨宪于洪武二年九月入为中书右丞，洪武三年李善长病休时，便实际操纵中书省大权，升为左丞。他玩弄权术，陷害同僚，“市权要宠”，很快被朱元璋杀死。接着是右丞相汪广洋被杀。朱元璋鉴于李善长权力过大，威胁帝权，于是在撤换李善长后，最初选中了汪广洋接替李善长的相位。汪广洋遇事小心谨慎，又以“廉明持重，善理繁剧”而著称。
洪武六年，胡惟庸进入中书省，与汪广洋共任右丞相。之后，汪广洋以“无所建白”贬为广东参政。但是汪广洋一离相位后，胡惟庸遇事专断与李善长相比有过之无不及。况且李善长还借胡惟庸等人，遥执相权，势力更甚于前。
汪广洋被贬后，当然也不服气，便暗中收集李善长的不法证据，于洪武九年（1376年）与御史大夫陈宁，合疏参劾李善长有“大不敬”之罪。这当然正中朱元璋的下怀，于是洪武十年九月，朱元璋先升胡惟庸为左丞相，再调回汪广洋为右丞相，以牵制胡惟庸，改变胡惟庸独相的局面。然而汪广洋复相后，整日喝酒，并没有起到应有的牵制作用，反而事事调和，公事“惟以他官剖决，不问是非，随而举行”。这令朱元璋大为失望，又把他贬往广南地区。即使这样，仍未能平息朱元璋的怒气，便又追加诏书，下令追到后，即将汪广洋就地处死，洪武十二年十二月汪广洋被贬杀。胡惟庸的独断专行，使相权与皇权的冲突更为明朗化了。胡惟庸之前，李善长小心谨慎，徐达经常带兵在外，汪广洋只知饮酒吟诗，皇权与相权的矛盾尚不突出。但胡惟庸为相七年，擅权乱政，使得朱元璋感得大权旁落，除了剪除别无选择。
早在洪武十一年三月，为了限制丞相的权力，朱元璋就下令凡奏事不得先“关白”中书省。在此之前，凡是各地送给皇帝的奏章都要关白中书省，就是给皇帝一份，同时也要给中书省丞相送一份。接着，又令六部奏事不得关白中书省，这样就大大削弱了中书省的权力。然而即使这样，也还不能令朱元璋满意。
于是就有了洪武十三年的胡惟庸案，朱元璋接着就宣布裁撤中书省。丞相废除后，其事由六部分理，六部直接对皇帝负责，朱元璋大权独揽。秦、汉以来实行了一千多年的宰相制度从此废除，皇权得到进一步加强。稍后，朱元璋还宣布以后嗣君不许议置丞相，大臣如敢奏请者，处以重刑，并立为祖训。
朱元璋废除宰相制后，仍然能时时刻刻感受到李善长的威胁。李善长为功臣之首，虽已退位，但势力还很大，加之与胡惟庸的姻亲故旧关系，始终令朱元璋耿耿于怀。为了巩固帝业，就必须彻底消除这一隐患，因而胡惟庸案不断升级。明代的心腹大患是“北虏南倭”，于是又为胡惟庸添上了一个“通倭通虏”的罪名，就是说他勾结蒙古和日本，企图谋反。但是据吴晗先生《胡惟庸党案考》，通倭通虏都是“莫须有”的罪名。胡惟庸事件正像一个传说中的故事，时间越长，故事的范围便越扩大。到后来胡惟庸东通日本高丽，西通卜宠吉儿，南通三佛齐，北通沙漠，东西南北诸夷，无不与胡惟庸叛逆案发生关系。朱元璋在杀胡惟庸若干年后又给他加上这些谋逆罪名，是想借胡案兴起大狱来诛杀文武功臣，以防功臣们日后威胁朱姓子孙。平心而论，胡惟庸的被杀完全是咎由自取，但是所谓的“胡党”却未免牵强附会。胡惟庸案实际上成为朱元璋整肃功臣的借口，凡是他认为心怀怨望、行为跋扈的大臣，都被加上“胡党”的罪名，处死抄家，开国功臣李善长也最终被牵连进此案。
李善长是受祸最惨的，不仅本人被赐死，还被族诛。他死后一年，郎中王国用为其鸣冤，由御史解缙起草《论韩国公冤事状》，疏中论道：李善长与陛下同心，出万死以取天下，勋臣第一，又何必为胡惟庸谋事，况且他已经年迈，根本没有精力再折腾，何苦如此！当时正值胡党株连，气氛异常恐怖，很多人担心会招来祸事。但朱元璋看了以后，未作任何批示，可见他也默认是枉杀。
徐达
徐达（1332～1385年）字天德，濠州钟离永丰乡（今安徽凤阳东北）人，明朝开国功臣，杰出的军事家、统帅。公元1353年加入朱元璋部队，朱元璋称帝后，任右丞相兼太子太傅。后统兵攻克元大都，太原等，建立了不朽的功勋，徐达智勇双全，治军严明，一生谦虚谨慎，与下属同甘共苦，他功勋卓著，为明朝开工第一功臣。
开国功臣
徐达由于家境贫寒，艰苦生活的磨炼，使他长大以后，身材魁梧，性格坚毅，遇事善用脑筋。明太祖朱元璋在削平割据群雄，推翻元朝统治，建立明皇朝的战争中，徐达长期担任最高军事统帅，身经百战，功勋卓著，他“以智勇之资，负柱石之任”，“廓江汉，清淮楚，电扫西浙，席卷中原，威声所振，直连塞外”。为朱元璋开创明皇朝立下了盖世之功，被誉为明朝“开国功臣第一”。
至正十三年（1353年）六月，朱元璋回到家乡招募兵士，22岁的徐达听到消息，毅然仗剑从军，投奔到朱元璋部下，开始了追随朱元璋南征北战的戎马生涯。
这一年，徐达等随朱元璋相继攻克河州新塘、三汊河、阳泉，保住达鲁花赤营寨，攻下徐官仓寨，朱元璋部声势大振。至正十四年五月，徐达随朱元璋攻克全椒，七月攻克滁州。至正十五年春正月，驻在滁州的朱元璋部队因粮饷缺乏，进攻和州（今安徽和县），以便筹集军粮。徐达率军先行，与张天祜、汤和一道攻下和州，徐达因攻打和州立下战功被擢升镇抚。
就在徐达被任命为镇抚之后不久，起义军中发生了一起非常事件：孙德崖因其部队缺粮，来到和州，请求朱元璋资助，朱元璋以大局为重，不计前嫌收留了他的部队。郭子兴则因过去与孙德崖有矛盾，知道这一消息后很生气，亲自从滁州赶来和州，训斥了朱元璋。孙德崖听说后很担心，想悄悄地溜走。朱元璋挽留不住，只好为其送行。走出城外三十里左右：忽然城中有人来报，郭子兴已和城中尚未走掉的孙德崖部打了起来，孙德崖已被郭子兴捉住，扣在城里。朱元璋听到后，大吃一惊，想打马回城劝说郭子兴把孙德崖放走。孙德崖部下误以为这是朱元璋策划的阴谋，便把他五花大绑，并扬言要杀掉朱元璋为其主帅报仇。徐达在城里听说朱元璋被孙部下扣留，生死未卜，就毅然请求替代朱元璋作为人质，以平息这起事件。后经多方调解，孙、朱都被对方释放，这场危机才算平定下来。然而，在这次事变中，徐达的舍身相救深得朱元璋的称赞，两人的关系更加密切了。
不久，郭子兴染病而死，朱元璋成为这支起义军的实际首领。朱元璋感觉到仅仅据有和州，难以实现他的雄图大略，而要渡过长江向南发展，又苦于没有船只。正在徘徊犹豫之时，巢湖水军头领赵普胜、俞廷玉、俞通海、廖永安、廖永忠等率军归附。朱元璋大喜，对徐达等说：“方谋渡江，而巢湖水军来附，吾事济矣！”于是，至正十五年（1355年）六月，朱元璋派兵遣将，部署作战方略：“采石（今安徽马鞍山采石镇）大镇，其备必固。牛渚矶（今安徽马鞍山西南长江中）前临大江，彼难为备御。今往攻之，其势必克。”徐达与诸将听命，各自挥师进发，直抵牛渚矶。常遇春奉命为先锋，先登上岸，徐达等率军一拥而上。在经过一阵短兵相接的激烈战斗之后，元兵力不支，溃败逃窜，徐达等占领了牛渚、采石。沿江一带元兵望风而降。
朱元璋被这次胜利所鼓舞，便根据当时的形势，及时提出继续进攻周围州县的计划，他对徐达等将领说：“今举而渡江，幸而克捷，当乘胜径取太平。若听诸军取财物以归，再举必难，江东非我有，大事去矣！”徐达等表示赞同。为坚定将士们前进的决心，朱元璋采取“置之死地而后生”的策略，下令砍断渡船缆绳，把船推到江中，顺流漂下。众军士一见大惊，朱元璋趁机说道：“成大事者不规小利。此去太平甚近，舍此不取，将奚为？”士兵们只好听命。他们吃饱饭，就从观渡（采石附近）向太平进发，经太平桥直抵城下。纵兵急攻，守城元军抵御不住，守将完者不花等弃城而逃，元万户纳哈出等被俘。
翌年三月，朱元璋亲率大军进攻集庆，徐达奉命为先锋，率水陆军士并进。至江宁镇，攻破陈兆先营垒，陈兆先以所部投降，得兵三万六千余人。十月后，再攻集庆，大败元兵于蒋山（今南京钟山）。元御史大夫福寿督兵出城接战，被徐达等击败。朱军乘胜攻城，冯胜率陈兆先部降兵奋勇先登，终于攻破城门，打进城内。福寿战死，蛮子海牙逃奔张士诚，水军元帅康茂才率军民五十余万降附。占领集庆后，朱元璋改集庆路为应天府。
在渡江攻拔采石、太平，进攻集庆的战役中，徐达作战勇敢，功勋卓著，成为朱元璋手下的得力战将。占领应天后，朱元璋有了根据地，粮食问题也基本解决，但军事形势极为严峻：东边有元将定定扼守镇江；青衣军张明鉴据扬州；张士诚占据平江（今江苏苏州）、常州，又占据浙江西部部分地区。南面有元将八恩尔不花驻守徽州（今安徽歙县），右抹宜孙驻处州（今浙江丽水），石抹宜生驻婺州（今浙江金华），宋伯颜不花守衢州；天完徐寿辉则攻占了池州（今安徽贵池）。为了摆脱军事上的不利境况，朱元璋在占领应天后，于当月任命徐达为大将军，统兵东下，进攻东线门户镇江。
大军出发之前，朱元璋为了整顿军队纪律，防止士兵进城后抢掠，故意找徐达的错处，扬言要按军法处治。暗地里让李善长当着众人的面苦苦求情，才松绑，并当面告诫说：“吾自起兵，未尝妄杀。今汝等将兵往，当体吾心，戒戢士卒。城下之日，毋焚掠，毋杀戮。有犯令者处以军法，纵之者罚无赦。”全军肃然，徐达等率军进攻镇江，不到两天，就打败镇守该城的元军，杀其守将定定、段武。徐达率军从仁和门入城，部队纪律严明，号令整肃，老百姓照常生活，就像没打过仗一样，因此很得老百姓的拥护。附近地方听到消息，都翘首盼望他们早日到来。
镇江一役，徐达以战功升任统军元帅，镇守其地。他兢兢业业，克尽职守，一方面安抚百姓，督课农桑，一方面分兵回击，攻下金坛、丹阳等地，以巩固镇江这个最东边的前哨阵地，防止张士诚的西侵。
同年七月，朱元璋在应天，自称吴国公，设立了自己的行政机构，同时设立了自己的军事管理机构江南行枢密院，任命徐达为同佥枢密院事。身为江南行枢密院同佥、镇江统军之帅的徐达，在打退张士诚军一次次的进攻之后，乘胜进围常州。但是，常州守敌据城固守，不肯投降。加上城内兵粮充足，徐达等攻打不下。朱元璋即以军法把徐达及其属下都官降一级，以示惩罚，并写信责备徐达说：“虐降致叛，老师无功，此吾所以责将军，其勉思以补前过。否则必罚无赦！”徐达为常州久攻不下而焦虑，也对朱元璋的责备而沉思，还要应付张士诚军的一次次反扑。可是，徐达处变不惊，沉着地指挥部队迎战，使张军的企图难以得逞。与此同时，驻在城外三十里远的常遇春、廖永安、胡大海等率部赶来增援，内外夹攻，大败张军，生擒敌将张德。残敌溃逃奔入城内。张士诚见常州危急，派其手下悍将吕珍夜间潜入城内，加强防守能力。徐达督军轮番猛攻，吕珍眼看士气低落，难以支撑，不得不丢弃常州，只身逃遁。到至正十七年（1357年）三月，历时达半年之久的常州攻坚战终于以胜利宣告结束。朱元璋在常州设立长春枢密院，任命徐达为佥枢密院事，汤和为枢密院同佥，统兵镇守该城。接着，徐达等乘胜移师进攻宁国（今安徽宣城），得军士十余万，战马二千匹，继而又攻拔宜兴、常熟、江阴马驮沙（今江苏靖江）等地，宜兴到靖江一线尽为朱元璋所有。经过两年多时间的努力经营，以应天为中心的朱元璋江南政权已经逐步稳定，大体控制了今江苏、安徽南部和浙江西北部地区。徐达作为朱元璋手下的主要战将立下了赫赫战功。
至正二十三年（1363年）四月，陈友谅“忿其疆土日蹙”，建造高数丈的巨舰，纠集号称六十万人的大军，倾巢而出，进围南昌。朱军守将朱文正、邓愈、赵德胜、薛显率领全城将士殊死搏战，坚守八十五天，使陈友谅顿兵坚城之下，未能前进一步。南昌守军浴血奋战，为朱元璋从容调兵遣将，准备与陈友谅决战赢得了宝贵的时间。