公元263年，魏国平定蜀汉，延续数十年的天下三分之势，演变成魏、吴两国南北对抗的格局。两年后，司马炎取代魏国，建立晋国。司马炎盱（xū）衡天下，南望长江，立下了统一天下的宏伟大志。司马炎作了相应的战略部署，调中军将军羊祜都督荆州诸军事。羊祜出生名门，祖上九世做官，皆以清德著称。
羊祜到荆州前线后，认真分析了东吴政权的政治、军事状况。从政治上看，枭雄一世的东吴国主孙权，已经逝世了，孙皓继任后，政治逐渐走向腐败；从军事上看，东吴一代名将陆逊、程普等都相继逝世，但陆逊的儿子陆抗却仍有其父遗风，才略不减前人。东吴拥有军队二十万，善于水战，凭借长江天险与晋国抗衡，是一支不可轻视的力量。考虑到这些，羊祜暗暗定下了争取民心的策略。
羊祜出镇南夏，开垦土地，开设学校，访贫问苦，救济危难，做了许多利民便民的好事，深得江汉人心。羊祜还对东吴开诚布公。每次与东吴军队交战，他都事先通知对方，从来不偷袭掩杀。吴国士兵投降晋国后，如果有愿意还乡的，羊祜随时放他们回乡。一天，晋军士兵抓来两个俘虏，羊祜了解到他们是一对兄弟，家中还有年迈的父亲，便立即把他释放了。不久，吴军将领夏祥、邵铠率领部下投降，那对被释放的兄弟的父亲，带领全族的人跟随降军向晋国投诚。
秋天来了，晋军为了储存冬季的粮草，进入吴国境内收粮割草。羊祜要求全军在收割粮草时必须严格遵守纪律，认真计算粮草的数量，并以同等价值的丝绢偿还农户。当时，食品非常匮乏，晋军的将领们经常带领士兵们打猎。羊祜严令各军，只能在晋国地盘上射猎，不准擅自进入吴国境内。有时，士兵们眼睁睁地看着带伤的猎物逃入吴国境内，却不得不停止追击。然而，对吴国士兵打伤而逃入晋国境内的禽兽，羊祜则规定必须归还吴国士兵。于是，吴国人心悦诚服，感恩戴德。江汉一带的百姓，都称羊祜为“羊公”，却忘记了他的名字。
陆抗是东吴末年难得的优秀将领，他虽然与羊祜隔界对抗，以兵戈相见，但内心十分敬佩羊祜，暗自叹服道：“羊公的德量，即使是乐毅、诸葛亮也未必能够超过。”一次，陆抗生了病，羊祜知道后，便派人前去看望，还送去一罐汤药。陆抗端起药就要喝。左右的人忙制止道：“晋国人送的药，哪里能随便喝呢？”陆抗却说：“羊公怎么会在药里下毒呢？”于是将药一饮而尽。
此时，东吴政权日趋腐败，孙皓荒淫骄虐，残害忠良，横征暴敛，百姓苦不堪言。陆抗痛感国事日非，却无回天之力。孙皓多次下诏催促陆抗发兵攻晋，陆抗上书道：“即使是在一个乡邑，对百姓都不能不讲恩义，何况作为一个大国呢？我如果劳师兴众，对羊祜实际上并不会有什么伤害，反而张扬了他的恩德。”陆抗坚持约兵自卫，吴晋两国军队因此多年相安无事。