至正二十七年（1367年）十月，朱元璋以徐达为征虏大将军，常遇春为征虏副将军，率二十五万大军出师北伐。当时北方元朝军事力量已经大大削弱，所以，徐达、常遇春出师三个多月，即平定山东。洪武元年四月，明军在洛阳的塔儿湾与元军遭遇，常遇春单骑突入敌阵，麾下壮士从之，勇猛冲杀，在洛水之北击溃元军五万，俘获无算，史称塔儿湾大捷。这一仗，占领了河南和潼关，夺取了陕西的门槛，为攻取元大都创造了极为有利的形势。
洪武元年闰七月，徐达、常遇春率马步舟师由临清沿运河北上，连下德州、通州。元顺帝携后妃、太子等逃奔上都开平（在今内蒙古正蓝旗东）。八月二日，徐达、常遇春一举攻占大都，改为北平府。稍事休整即又挥军西进，攻取山西。与精锐的扩廓帖木儿军进行了艰苦的搏战，平定山西。洪武二年三月，西征军进攻陕西，元将李思齐由凤翔奔临洮，力竭投降。元顺帝乘明军主力长驱秦晋之机，命丞相也速率军向北平反扑，兵锋已抵通州。常遇春又奉命与李文忠率步卒八万、骑士一万驰救北平，元军闻讯即向北逃奔，常遇春率军追奔千里，大获全胜。为了覆其巢穴，最终解除元军对北平的威胁，常遇春又率军径取元上都开平，顺帝逃奔和林（今蒙古人民共和国哈尔和林）。常遇春夺取开平，全歼留守元军，缴获车万辆、马三万匹、牛五万头。
病卒军中
洪武二年（1369年）七月，常遇春自开平率师南归，行至柳河川（今河北龙关县西），得暴病卒于军中，年仅40岁。朱元璋闻丧大为震悼，赐葬钟山之下，并亲自出奠。书报大将军徐达回京参加会葬。为表彰常遇春的功绩，赠翊运推诚宣德靖远功臣、开府仪同三司、上柱国、太保、中书右丞相，追封开平王，谥忠武。又封子常茂为郑国公，岁禄二千石。常茂隶宋国公冯胜北征纳哈出，不奉约束，被削爵，安置在广西龙州；又别封次子常升为开国公，建文末，以抗靖难师安置云南临安（今云南建水），忧死。“虽古名将，未有过之”常遇春自从1355年追随朱元璋，参加采石矶渡江战役，到1369年夺取元上都开平，暴卒于柳河川为止，十四年戎马生涯，转战南北，可以说无役不从，战无不胜。常遇春“为人沉鸷果敢”，被誉为当时的天下奇男子。他曾自负地说：“我率十万人便可横行天下”，军中送他一个绰号叫“常十万”。他不仅有勇，而且也有智谋，常常以智取胜。或者设伏，使用疑兵；或者声东击西，出敌不备。在历次战役中都不乏其例。比如1359年七月，常遇春率兵攻衢州，元将宋伯颜不花悉力守备，常遇春使用各种攻城器具，仍久攻不下，乃以奇兵出其不意，挖穴道进入南门瓮城，毁敌所架炮，又策动元将张斌约降，内外夹击，乃夺得衢州。再比如，1360年五月，常遇春与徐达一起攻破了陈友谅的枞阳水寨，陈友谅率大军前来报复，四处扬言要攻取安庆。常遇春经过分析，认为其中有诈，这是陈友谅要夺取安庆附近的池州，是声东击西之计。同徐达商议后，决定将计就计，设伏诱敌，陈友谅果然中计，腹背受敌之下大败而逃。这都是常遇春以智谋取胜的典型战例。所以史书上说，常遇春“虽不习书史，用兵辄与古合”，“克敌制胜之方皆中节度”。常遇春“爱抚士卒”，“每与敌战，出则当先，退则殿后，未尝败北，士卒乐为之用”。这是自古名将几乎所共有的一个优点。与此相应就是兵有纪律，所到之处秋毫无犯，不扰民。他很同情百姓的疾苦，这同他出身农家有关，也是朱元璋在开拓事业中一贯严格要求的。常遇春与胡大海一起曾向朱元璋建议，免收百姓给军队交纳的粮草--寨粮，朱元璋采纳了这个建议，注重发展屯田事业，以解决军队的粮饷，从而减轻了占领地区百姓的沉重负担。
在和同僚之间的关系上，常遇春处理得也比较好，在作战中能够节制诸将又能虚心与诸将研究对策，集思广益。他身为副将军，与大将军徐达一起征战，非常尊重小他两岁的徐达，谦逊地“奉节制，进止赴期不敢爽毫发，大将军雅敬爱之”，始终无小间。当时，徐达、常遇春两员大将并称，“一时名将称徐、常”。一个以谋略持重著称；一个以勇猛果敢闻名。朱元璋很会用将，以徐达为正，常遇春为副，用其所长，互相配合，相得益彰。常遇春对朱元璋一直忠心耿耿，敢于直言，效命疆场，尽瘁而终。朱元璋对常遇春也特别爱重，认为常遇春的功勋“虽古名将，未有过之”。常遇春也善于处理同主子的关系。1365年二月，当常遇春率军征服江西上流未附郡县班师之后，朱元璋对常遇春“颁赏赐劳”，特意表彰他“勤劳于外，南平诸郡，兵不失律，民无所扰”的功劳。常遇春对答颇为得体，他说，这是“皇上成算，所至辄克，非臣所能”。貌似宽厚心实险狠的朱元璋自然爱听这样的话了。常遇春忠于朱元璋，39岁暴卒于军中，功成名就，但生平爱杀降为世人所诟。死后，被追封为“开平王”，故六泉口又有“开平寨”之称。
当地村民为纪念常遇春智勇过人，还在大古岭下的在百丈潭侧建庙祭祀，当时称将军庙，庙址所在村落因此得名将军村。该庙规模壮观，翘檐飞角，庙内塑有常将军全身像。抗日战争中庙宇为日军焚毁，但村民仍保留“拜将军年”的旧俗。常遇春灵柩运回南京，朱元璋亲往龙江（今下关一带）祭奠，追封他为“开平王”，溢“忠武”，赐葬钟山，配享太庙，肖像功臣庙，位牌列第二。墓高2.4米，墓基周长约29米。现墓茔与墓前石刻保存完好。有石柱一，石马、石羊、石虎、武将各二。石兽雕刻工艺精湛，神形兼备。武士双手抚剑，顶盔贯甲，威武雄健。现碑上镌刻“明故世祖开平王遇春常公之墓”，系清同治十年（1871年）二月重修时其裔孙所立。
胡惟庸
胡惟庸（？～1380），凤阳府定远县（今属安徽）人，为李善长的同乡。在朱元璋攻克和州时，归附红巾军，颇受宠信。洪武六年（1373年）任右丞相，洪武十年（1377年）进丞相，位居百官之首，随着权势的不断增大，他日益骄横跋扈，故而引起了朱元璋的极大注意。后来因他谋反事件泄漏被杀颇受宠信朱元璋登基，任命李善长为左丞相，徐达为右丞相。李善长是朱元璋攻下滁阳后，接纳下来的谋士，指挥作战，组织供应，事事皆能妥善处理。还在朱元璋称吴王时，李善长便出任右相国，充分展现他裁决如流的才干，为功臣之首。洪武元年任左丞相，封韩国公，在朝廷上位列第一。徐达常年带兵在外作战，实权掌握在李善长手中。之后，他的儿子李祺又被朱元璋招为驸马，权势更加显赫，成为朝廷中掌握实权的淮西集团首领。淮西集团势力的日益膨胀，威胁到皇权。朱元璋对他颇存顾忌，于是在洪武四年，以年高有病为名，让李善长告老还乡，时年58岁。其实，朱元璋早就有意撤换李善长，还曾经向刘基请教合适人选。刘基说：“善长为元勋旧臣，能调和诸将，不宜骤换。”朱元璋道：“善长屡言卿短，卿乃替他说情么？朕将令卿为右相。”刘基连忙顿首道：“臣实小材，何能任相？”可能刘基预料到在淮西集团当权的情况下，必然会受到排挤，故而坚决不肯任相职。朱元璋又问：“杨宪何如？”刘基答道：“宪有相材，无相器。”朱元璋又问：“汪广洋如何？”刘基道：“器量褊浅，比宪不如。”
太祖又问及胡惟庸，刘基连连摇头道：“不可不可，区区小犊，一经重用，偾辕破犁，祸且不浅了。”朱元璋默然无言。但是后来朱元璋还是根据李善长的推荐，任用了善于逢迎的胡惟庸。刘基叹道：“惟庸得志，必为民害。”胡惟庸得知后，便对刘基忌恨在心。不过，后来的事实证明，刘基的话还是有道理的。因李善长的提携，胡惟庸于洪武六年，进入中书省，与汪广洋同任右丞相，左丞相空缺。胡惟庸入相后，他的精明干练很快得到朱元璋的赏识。这期间，胡惟庸还将自己的侄女嫁给了李善长的弟弟李存义的儿子李佑为妻，结成姻亲，使得他与李善长关系更进一步。有这样的元老重臣为后盾，胡惟庸更加胆大妄为。加上李善长的旧属们也极力帮助他，胡惟庸可谓如鱼得水。由于他逢迎有术，渐得朱元璋宠任。到洪武十年，进左丞相，位居百官之首，独揽丞相之权。随着权势的不断增大，胡惟庸日益骄横跋扈，独揽丞相大权，生杀黜陟，为所欲为。内外诸司所上的奏章，胡惟庸必先取阅，对自己不利的，就隐匿不上报。他任意提拔、处罚官员，各地喜好钻营热衷仕进之徒、功臣武夫失意者，都奔走于他的门下，送给他的金帛、名马、玩好，不计其数。胡惟庸一时间权倾朝野，许多人都看他脸色行事，敢怒不敢言。
对于异己者，胡惟庸必定会打击报复。之前，因入相问题，胡惟庸就与刘基有过节。恰恰瓯闽间有一片空地名叫谈洋，一向为盐枭占据，刘基奏请设巡检司进行管辖，盐枭不服，反而纠众作乱。刘基儿子刘琏将实情上奏，没有事先向中书省报告。掌管中书省的胡惟庸认为刘基蔑视他，越加愤怒，于是唆使刑部尚书吴云弹劾刘基，诬称谈洋有王气，刘基想据为己有，用来修墓，应严加惩处。朱元璋便对刘基夺俸，刘基忧愤成疾，没过多长时间就去世了。
大将军徐达对胡惟庸的擅权乱政，深恶痛绝，便把他的劣迹上告朱元璋。谁知竟被胡惟庸闻知，忌恨在心，企图诱使徐达家的守门人福寿谋害徐达。但因福寿揭发，未能得逞。可见胡惟庸气量狭窄、心计毒辣。
对于胡惟庸的所作所为，朱元璋也略有察觉，对他的擅权更是感到不满。洪武十二年九月，又有阻隔占城贡使一事发生，胡惟庸等人未及时引见占城贡使，又与礼部互相推卸责任，朱元璋一怒之下，将他们尽行囚禁，不难看出，此时胡惟庸已经受到朱元璋的严重猜忌。就在这年十二月，又查出汪广洋被赐死时，有个从死的妾陈氏，竟是获罪后妻女并皆入官的陈知县的女儿。朱元璋得知后，更为震怒，说道：“没官妇女只给功臣家，文臣何以得给？”敕令法司要彻底追查此事，因此从胡惟庸以至六部堂属各官都难辞其咎、负有罪责。此时胡惟庸的地位已岌岌可危了。在胡惟庸已明显失宠的情况下，大概是揣度到朱元璋的心理，洪武十三年正月，御史中丞涂节首先告胡惟庸谋反。与此同时，被谪为中书省属吏的御史中丞商暠，也揭发了胡惟庸的许多隐私。
罪名升级
朱元璋接到告变后，立即命廷臣进行审讯，随即就把胡惟庸处死了。告变人涂节，也因朝臣参劾说他本来准备参加谋反，因事不成才告变，连同胡惟庸和另一主犯，曾与汪广洋一同参劾李善长的御史大夫陈宁，同时被杀。
洪武十三年，胡惟庸被处死后，胡惟庸案远没有结束，对于胡惟庸的罪状一直都在搜集查证。
洪武十八年（1385年），有人告发李存义和他的儿子李佑，不仅是胡惟庸的至亲，还曾经伙同胡惟庸谋逆。胡惟庸虽已被诛，李存义也必须连坐。这可是祸从天降，并且为祸不轻，李家惴惴不安。但是朱元璋对此事并未严惩，还特别下诏，李存义与李佑都免于死罪，只是被贬到崇明岛闲住。可能是因为李善长为功臣元老，朱元璋念及旧情，因而特地从轻发落。按理李善长受到如此殊遇，应该上书谢恩，但是李善长对此事全然不予理会，这种态度令朱元璋感到非常不快。
胡惟庸案的查证一直都在继续着，并且有了新的进展。洪武十九年（1386年）明州卫指挥林贤通倭事发，经审讯得知，他是奉胡惟庸的命令下海通倭的，胡惟庸谋反案有了进一步的证明。洪武二十三年（1390年），又捉拿到奸人封绩。封绩本是元朝的旧臣，后来归降于明，据说他经常往来于蒙、汉之间，曾经为胡惟庸给元嗣君送过信，胡惟庸在信中称臣，并请元嗣君出兵为外应。其实早在洪武二十一年（1388年），大将军蓝玉出塞时，在捕鱼儿海地方就捕获过封绩，但是由于李善长施加影响，并未上奏，就把封绩给放了。直到这次，由于封绩再次被捕入狱，李善长终于也被牵连进来了。
恰在此时，李善长为了娱老，大兴土木，因缺少工人，向信国公汤和借用卫卒三百名，以供营建。以营卒为工役，这种事情本是常事。但汤和胆小怕事，又不敢得罪李善长，因而表面应允，暗中却向朱元璋报告，这无疑是说李善长私自集结兵力。凑巧，京中吏民为党狱诛累，坐罪徙边，约有数百人，中间有一个叫丁斌的，为李善长私亲，李善长便替他求免。由于朱元璋对李善长的猜忌之心日重，他不但没有答应李善长的请求，反而命令将丁斌拿获。经审讯得知，丁斌偏巧曾经供事胡惟庸家，于是供出不少李、胡两家的往来之事。这样，便认定了李存义、李佑父子伙同谋叛的罪状，立即将他们从崇明岛拘捕进京，重新审理定罪。
接着，朱元璋便颁布严敕说，李善长以“元勋国戚，知逆谋不举，狐疑观望怀两端，大逆不道”。真是欲加之罪何患无辞！于是，77岁的李善长被赐死，其妻、女、弟、侄等一门七十馀人被杀。只有李善长的长子李祺及两个儿子，因为临安公主的缘故，得以免死，流徙江浦。