荆州刺史殷仲堪生性多疑，担心桓玄专横暴戾，就与雍州刺史杨桂期结成亲家，以相互救援。杨桂期有好几次都想攻打桓玄，都被殷仲堪劝阻。桓玄担心自己为殷仲堪、杨桂期所害，就向朝廷请求扩大他的地盘。
朝廷想离间他们，便加任桓玄为都督荆州四郡军事。同时，让桓玄的哥哥桓伟代替杨桂期的哥哥杨广做南蛮校尉。杨桂期又生气又担忧。
杨广本想拒绝桓伟接任，但殷仲堪不许，把杨广调出来任宜都、建平两郡的太守。杨孜敬原来是江夏相，桓玄派兵去攻击并劫持了他，任命他做咨议参军。
杨桂期招集军队，建立军旗，声称要去援救洛阳，想和殷仲堪一起进攻桓玄。殷仲堪虽然表面上与杨桂期结交，心里却怀疑他的用心，所以苦苦劝阻杨桂期。他又担心无法阻止杨桂期，就派自己的堂弟殷通去北部地区驻守，以此遏制杨桂期。杨桂期无法自己起兵，又猜不出殷仲堪的用意，只好解散军队。
这一年，荆州发大水，平地积水三丈深。殷仲堪将府库中储备的粮食全都拿出来赈济饥民。桓玄打算趁他内部空虚的时候征讨他，于是发动军队向西进发，声称要去援救洛阳。
桓玄又给殷仲堪写信，说：“杨桂期身受国家恩惠，却不去参加皇帝的葬礼，我们应该一起兴师问罪。现在应开进沔水讨伐他，我已经在江口一带集结了兵力。如果你的看法与我一样，就把杨广抓起来杀掉。如果不这样做，我就率领军队进入长江，攻击江陵。”
这时，巴陵还有积蓄的粮食，桓玄派兵先去攻击。梁州刺史郭铨正赶去上任，途中经过夏口。桓玄骗殷仲堪说，朝廷派郭铨担任自己的前锋，所以把江夏的部队交给他，并让自己统帅各支部队一起前进。桓玄暗中告诉他的哥哥桓伟做内应。
桓伟惊慌失措，不知道该怎么办，就把桓玄的密信交给殷仲堪看。殷仲堪扣下桓伟作人质，命令他给桓玄写信，文辞极其凄苦。桓玄说：“殷仲堪为人优柔寡断，常常考虑打败之后怎么办，为儿子考虑好后路，我哥哥一定不会有危险。”
殷仲堪派殷通率领水军七千人到达西江口，桓玄派郭铨、苻宏进攻他，殷通等大败逃走。桓玄驻扎在巴陵，吃的是殷仲堪留下的粮食。殷仲堪派遣杨广和自己的侄儿殷道护等人率领军队抵抗，全都被桓玄打败。江陵一带大为恐慌。
江陵城中缺乏粮食，殷仲堪只能发给士兵胡麻充饥。桓玄乘胜到达零口，距离江陵只有二十里。殷仲堪急忙写信请杨桂期来救援。杨桂期却说：“江陵没有粮草，用什么来对付敌人？你可以屈尊到我这里来，我们一起据守襄阳。”
殷仲堪想保全自己的军队和地盘，不愿意放弃荆州流亡，就骗杨桂期说：“近来我征集了许多粮草，已经有所储备。”杨桂期相信了，率领步兵、骑兵共八千人前来救援。
到达江陵后，殷仲堪只能用米饭供应杨桂期的军队。杨桂期十分生气，说：“这次必败无疑。”也不去见殷仲堪，就与他哥哥杨广一起向桓玄进攻。桓玄害怕他的锐气，撤退到马头。
第二天，杨桂期带兵急攻郭铨，几乎将郭铨抓住。正好桓玄的部队赶到，杨桂期军队大败，他一个人骑着马逃奔襄阳。殷仲堪逃奔佳城。
桓玄派将军冯该追捕杨桂期和杨广，把他们全部抓住杀了，又把他们的人头送到建康。
殷仲堪听说杨桂期已死，带着几百人正要投奔长安，走到冠军城，冯该追上去俘获了他。回到柞溪以后，冯该逼着他自杀了。
殷仲堪信奉天师道，祭祖鬼神时极为慷慨，但拿出钱财救急时，却很吝惜。他又喜欢以小恩小惠笼络人心。如若有人生病，他就亲自为病人把脉配药。他遇事缺乏主见，优柔寡断，终于遭至亡身。