水源被断，刘粲慌忙派人查找。没过多久，军士回来禀报：“晋军在西面五里以外的山上切断了水源，目测约有两三千人。”
刘粲大怒，命令将军靳准带兵一万前去剿灭敌军。汉军无法一两天内攻不下霍县，必须以最快的速度打通水源，否则只有放弃城下大寨，后退到汾水边扎营。
山地难行，靳准带一万骑兵几乎是徒步前行。来到广梁山，一声令下，全军向山上爬去，就要攻击晋军。
温峤领三千步兵来此以后，用石头和木桩堵死小溪，正在全力向南挖掘，希望暂时改变小溪的流向。这时发现数倍敌军沿着干涸的河床向上爬。别处山坡陡峭，敌人也只有沿着河道向上爬。温峤在上望见，笑的差点飞出眼泪，对军士喊道：“汉兵愚蠢，缺乏山地的作战经验，怎么能沿着河道向上爬。既然敌军这么想喝水，不如咱们先满足他们一回。”然后命人将水闸推开，上涨的溪水夹杂着木桩、石块一同泻下。
汉兵损失惨重，丢盔弃甲逃下山坡。晋军在山上观看，全都欣喜异常，笑漫山坡。不过笑完之后，却还要赶紧继续伐木运石，堵塞河道。接下来，广阳山下成了晋汉两军争夺的焦点。
汉国大皇子刘粲听了靳冲失败的消息，再次支援靳冲五千兵马，要求其一天之内夺下河道。靳冲得到援兵士气稍振，便继续向温峤发起进攻。汉军虽然人多，但是失去马匹，组织混乱。晋军虽然人少，但是一来站于有利地形，居高临下；二来步兵擅讲配合，组织严密，远有弓箭射击，离得再近些用强弩，短兵相接之后，还有长枪队在前阻击，时不时短刀队还会突然突击一下。汉军虽然人数远远超过晋军，但却无法占领晋军阵地。
战争打了一天，天黑之后，汉军就在坡下驻守，没有水源连一顿饭都做不了。进入第二天，汉军大营开始慌乱，汉大将军刘粲更加焦急的注视着广阳山的战斗。如果打不开水源，只有后退十里，另寻水源之地。可是这样一来，还怎么攻城。他却不想，自己原本是防守一方，不攻城又有何妨。刘粲太年轻了，显现了破绽！
正在此时，永安城内的刘琨最怕刘粲后撤。他必须利用这最后的山地作战机会。
刘琨此来并非防守，即使刘粲即使放弃大营，后退十里，无法进攻永安城，也不是刘琨可以接受的。永安已过就出了鼠雀谷的南口，进入平原地带，刘琨的一万步兵的冲击力将大大降低。所以必须在此山地全歼敌人主力。
刘琨集结了所有的兵马，他骑在马上，向众将喊道：“敌军防卫主力尽在城下，他们的水源已被我们切断了一整天，心中必然恐慌。我军就此出城与其决战，匈奴主力全部在此，只要能彻底消灭他们，平阳城就唾手可得。”然后命令打开城门，全军冲了出去。
刘琨自带六修骑兵上万，一马当先冲入敌军营寨，身后还有韩据数千步兵跟随。而要求普根一万骑兵绕过平坡，从后方攻击汉国营寨。
连日来，汉国以守为攻，强攻永安数天，刘琨出战本是汉国最希望看到的结果，但是汉国数万士兵停水一天，都知水源被夺，人心骚动，作战慌张，士气完全被晋军压制，前营也很快便被刘琨一马踏破。剑击西风鬼啸，琴弹夜月猿号！
刘粲还想组织再战，将军令狐泥劝道：“敌人远来攻我，我军只要防守成功就行。不必再次与其决战，此处满地山石，敌人上万步兵优势明显。如若进入平原，敌人这三万人绝对打不过我们，趁敌人仅仅攻破第一道营防，现在撤军还可保留主力，等出得鼠雀谷再与敌人决战，胜算更大。我军一旦失败，平阳便不保了。”
虽然令狐泥是晋军出身，但是刘琨曾误杀其父，令狐泥叛变晋军之后，也给汉军带路，杀掉了刘琨的父亲，令狐泥和刘琨可谓不共戴天。刘粲知道，他是最不愿撤军的，但是连令狐泥都请求撤军，刘粲只好接受他的建议。刘粲不得已之下，拔营向南撤退，并给令狐泥五千军士，令狐泥拖后阻击。
拓跋普根率本部骑兵最后出城，本应向西迂回到汉军身后，可是一路碎石满地，普根进军缓慢，他还未能绕到汉军身后，汉军大部已经退入鼠雀谷。
山谷崎岖狭隘，一路追击的晋军受阻于地形，进攻也非常缓慢，刘琨心情非常急迫，但也无可奈何。汉军退到鼠雀谷的出口处，撤退速度明显加快，而令狐泥带领几千兵士，守住鼠雀谷的出口，不肯后退。此处山道狭隘，无法展开平面进攻，刘琨苦战两个时辰，才将这几千汉军消灭，令狐泥独自骑马落荒而逃。
刘琨策马冲出谷地，眼前一片开阔。刘琨仰天长叹。人远天涯碧云秋，愁又愁！