就在司马炎不断励精图治、西晋国力蒸蒸日上之时，东吴国力却日薄西山，开始衰落。
吴王孙皓本是一个乖戾、残忍、荒淫的人，绝望之中，他的性格不断向病态发展，使气息奄奄的东吴加速向死亡迈进。
此时，孙皓的昏庸无能更加衬托出司马炎的开明，生活在痛苦和黑暗中的东吴人开始向西晋寻求希望，东吴的将领们纷纷率众倒戈，投降西晋。
这使晋人灭吴的欲望更加膨胀，一时之间，西晋朝野上下都在议论灭吴之事。晋武帝深知，如今东吴国力虽弱，却已立国几十年，晋人灭吴如果稍有失误，就会功败垂成。因此，虽然朝野上下灭吴的呼声高涨，司马炎却未许诺。
泰始六年（270年），独具慧眼的司马炎见灭吴的时机成熟，派才能出色的羊祜到晋吴交界地荆州开展灭吴的准备工作。
羊祜是一个卓有谋略的军事家。他以清德名世，镇边谨慎从事，恪尽职守，不负众望。
羊祜到达荆州以后，马上占领了要害之处与膏腴之地。羊祜此举，令吴军在军事和物资供应上都处于被动的境地。
同时，羊祜大规模屯田，为晋军灭吴打下了坚实的物质基础。羊祜上任时，军无现粮，没多久，仓内蓄粮已够士兵十年之用。羊祜在此基础上，采取攻心战，使吴人对晋产生亲切感，与吴疏远。
羊祜和吴人交战时，总是在日出之后，从不偷袭。
一次，晋军俘虏了两个吴人的小孩，羊祜不但不审讯，还把他们送回家，孩子的家人非常感动，举家降晋。
东吴大将邓香攻夏口时被俘，羊祜不但不杀，还亲自解开其缚绳，邓香为了报答羊祜的知遇之恩，率领其部下降晋。
一次，羊祜巡视边境的时候，军粮没有带足，只好沿途收割吴境成熟的庄稼，羊祜在事后马上派士兵送绢给沿途农田主。
羊祜的良苦用心终于得到了回报，吴人改变了对晋的敌视态度，甚至尊称羊祜为羊公。边境日渐平安。
但羊祜并没有因此而满足，他暗地里加紧了灭吴的准备工作。但是，晋武帝司马炎却因权臣贾充等人的阻挠，迟迟下不了灭吴的决心。时光飞逝，进入暮年的羊祜，于咸宁四年（278年）去世。
羊祜临终之时，向司马炎推荐了杜预接替他的职务。
杜预虽然是个风度儒雅的文将，但全无书生的弱点，杜预在政治与军事才能上，不亚于羊枯。
羊祜死了以后，杜预接替了羊枯镇南大将军之职，监督荆州诸军事，杜预刚刚上任就表现出了卓越的军事才能。
他率兵袭击了驻守在要害之地的吴军，吴将张政将此事隐而不报。杜预深知张政是个劲敌，就想借此机会将他除掉。杜预故意将战俘送还东吴，孙皓得知此事大怒，下令调离了张政。就这样，杜预轻而易举地将难以对付的对手赶走了。
这时，负责训练水军的王潜向朝廷情真意切地上了一份文表，表达了灭吴的迫切心愿。与此同时，杜预也向晋武帝请求伐吴。
杜预奏章送到时，司马炎正在与张华下棋，张华推开棋盘，鼓动道："陛下神武，朝野上下清平和乐，西晋国富兵强，而吴主则适得其反，吴主荒淫暴虐，诛杀贤能。西晋发兵讨伐东吴，可以不费吹灰之力。"
司马炎在杜、王、张等人的不断敦促下，终于下决心大规模伐吴。
晋军分兵六路灭吴，王潜所率领的巴蜀水军为中坚。吴军为了阻挡王潜所率水军，在长江的险要之处布下铁链，在江中埋下铁锥。但是，羊祜生前早已预料到这一情况，所以王潜进攻以前就准备了竹排，并在竹排上布满了身穿盔甲的稻草人，挟去江中的铁锥。王潜把巨大的火炬灌上了易燃的麻油放在船前，用火炬熔断铁链。
就这样，长江天险被王潜化作了平地，王潜几乎兵不血刃地攻下了夏口、武昌，直驱建业（今南京）。此时，六军统帅贾充却从中作梗，上书道："现在吴地瘟疫流行，应召回伐吴大军。腰斩张华，以谢天下。"
这次，晋武帝司马炎没有听信谗言，下令伐吴大军继续前进。这时，王浑所率的陆路大军势如破竹，杀到横江（今安徽和县）。
孙皓在两路大军的夹攻之下，成了瓮中之鳖，他急派张象率水军抵抗。谁知张象出城便做了俘虏。无奈之下，恐惧万分的孙皓素车白马、肉袒而缚，载着棺材投降。
东吴立国近六十年，曾雄踞江东，却断送在了亡国之君孙皓手上。西晋此战获得东吴四十多个郡、三百多个县、二百三十余万人口。