1947年7月31日，中共中央军委决定，西北野战兵团正式定名为西北野战军，彭德怀任司令员兼政治委员，习仲勋任副政治委员。9月20日，由警备第1、第3旅和骑兵第6师组成西北野战军第4纵队，王世泰任司令员，张仲良任政治委员，纵队的前身是1942年5月由八路军120师、晋西北新军和留守兵团等部编成的晋绥联防军，当时由贺龙任司令员，关向应任政治委员，主要领导陕北各军分区和警备旅等部队。
第4纵队组成后不久，张仲良与王世泰率部辗转西北战场。先是会同第2纵队进击黄龙山区，攻克白水、韩城、部阳、宜川，缴获大批弹药、物资，后进至横山县边家河一带时，奉命转向西攻击前进，收复宁梁、安边等地。根据西北野战军总部的命令，在这年的年底转至安塞县华子坪、侯家河一带开展，张仲良主持全纵队开展了以诉苦为主要内容的新式整军运动。
1948年2月，张仲良、王世泰率纵队参加宜川战役，配合野战军主力围歼驰援宜川的国民党军整编第29军。4月中旬至5月中旬，参加西府陇东战役，先在扶风至青化镇一线抗击西援宝鸡之国民党军裴昌会兵团，后在镇原县以东屯子镇接应第6纵队教导旅突围，尔后担负掩护西北野战军主力向东转移的任务。5月下旬，第4纵队转至栒邑县土桥源地区进行整训。此时的第4纵队，人员约1万2千人，可谓兵强马壮，已发展成为西北野战军的一支劲旅。
进入1949年，西北战场上敌我力量对比发生重大变化，人民解放军战略大反攻的速度加快。尤其是陇东战役后，宁马退回宁夏，青马败逃兰州。从此，二马各自为战，对我军解放大西北十分有利。2月1日，根据中央军委关于统一全军编制及部队番号的命令，第4纵队改称中国人民解放军第四军，隶属第一野战军建制。王世泰任军长，张仲良任政治委员，孙超群任副军长，朱辉照接替李宗贵担任政治部主任，人员已发展到1万9千人，在参加陕中战役之后，于当年6月被编入第2兵团。紧接着，第四军在7月中旬的扶眉战役中打得英勇顽强，胜利完成了截断国民党军退路的任务，保障了西北野战军主力聚歼国民党军3个军。接着，张仲良、王世泰率部乘胜西进，攻克蔡家坡、岐山、宝鸡等城镇，7月下旬由宝鸡地区出发，向兰州挺进。
根据彭德怀司令员的指示，兰州战役是解放大西北的最后战役决战，攻克兰州之后，将为西北野战军解放新疆、甘肃、青海、宁夏四省的辽阔疆土创造条件，彭总要求参加兰州战役的西北野战军各部队“务求决战必胜”。
在兰州战役中，张仲良所率第四军的任务是，在中路军第2兵团序列内进军，逼近兰州后向城西南敌侧后方向进攻，同并肩作战的右邻第六军从城南方向进攻。根据彭总的统一部署，担任兵团机动任务的第三军，集结于龚家湾、土门墩等地，是第四军的左邻。
7月下旬，张仲良率领四军在凤翔地区集结待命，他抓紧时间进行战前动员，发挥人民解放军的政治优势，开展深入细致的思想工作。由于第四军在此前的扶眉战役中飞速截击敌人退路，确保战役全胜，受到“前委”嘉奖，张仲良以“四军健儿建立奇功”为主题，在部队开展英勇杀敌、再立新功的教育活动，大力表彰了一批模范典型，在广大指战员中直到了很好的示范作用，因此指战员们战斗情绪旺盛，再立新功的必胜信念十分坚强。当野战军关于向大西北进军的作战任务向部队传达动员后，第四军全体将士炽热的战斗情绪，在部队中烧得更旺。广大指战员纷纷表决心、写请战书，争当突击队，“保持光荣，再立战功”成为部队的行动口号。
8月21日，西北野战军向兰州城中守敌发起试攻。仅两天双方均有重大伤亡，我军未能攻下一个阵地。彭总下令停战，总结经验后再发起总攻。
25日凌晨，解放军兰州围城部队正式发起全面总攻。兰州东、南、西三面炮火齐鸣，敌人三个主要阵地都成了一片火海，敌人伤亡惨重。张仲良率部参加8月25日战役总攻决战，由于战前动员充分，战士们拼劲十足，经过反复冲击，第四军部队于当日黄昏前迅速占领了沈家岭、狗娃山，次日拂晓即攻入兰州城西关，共歼国民党军1万余人，奠定了兰州战役的胜局。