1935年夏，张仲良参加领导巾部（今黄陵县），宜君、富县革命根据地的创建工作，任中宜富革命委员会主席。时隔不久，张仲良在陕北肃反中受到怀疑和审查。张仲良和习仲勋、刘志丹等一大批干部一起被扣押起来，当时红二十六军营以上的主要干部，陕甘边区县以上的主要领导，几乎无一幸免。
究其原因，主要是王明“左”倾机会主义路线影响到陕北。那些不了解陕甘革命历史、自称“最革命”的“左”倾机会主义者，对张仲良等一大批忠心耿耿的红军干部，不作调查研究，不深入了解敌情，全凭主观臆断，强调对外是一切斗争，否认联合；对内不同意他们错误观点的就残酷斗争，无情打击。他们指责刘志丹等只分川地，不分山地（陕甘边某些地方土地多，光川地平均每人就有十几亩、几十亩，群众只要川地不要山地），不全部没收富农的东西，不在游击区分配土地是“不实行土地改革”，指责张仲良等纠正一些违反纪律的土匪行为是“镇压群众”，在促进全民族统一抗战的大背景下，指责红军同杨虎城有联系是“勾结军阀”。他们先扣大帽子，继而无线上纲上线，先说张仲良等一批干部是“右倾”，继而说是“右倾取消主义”，更进而说是“右派”，还要深挖他们中间的“组织者”和“后台”，诬陷习仲勋是“右派前线委员会书记”，诬陷刘志丹是“白军军官”，采取不审不问，先夺权后抓人的办法，把习仲勋、刘志丹、张仲良等一大批干部扣押起来。
张仲良在被扣押之后，与几十个人关在一个大的当铺里，天气很冷，不允许盖被子，晚上睡觉绑着手脚，绳子上都长满了虱子；有人拿着鞭子、大刀，看谁不顺眼就用鞭子抽，刀背砍，在莫须有的罪名下，许多人被迫害致死。在被审查期间，张仲良始终坚持党性原则，坚持实事求是，经受了残酷的考验。
1935年冬，毛泽东率中央红军到达陕北后，张仲良被释放，接着到中央党校学习。他聆听了毛泽东的《论反对日本帝国主义的策略》的报告，并受到中央军委副主席周恩来的亲切接见。随后被派到关中地区工作，任红军独立三团政委，率部参加了粉碎国民党军队“围剿”红军的战斗。1939年夏，入红军大学学习。年初，任中共陕甘省军事部副部长，积极协助省委扩大红军。陕甘省撤销后，任关中分区军事部部长。
抗日战争爆发后，张仲良先后任八路军关中军分区司令员，关中警备司令部副司令员，关中分区专员，八路军留守兵团教导一旅政委。他努力贯彻中共中央的各项方针政策，领导关中地区的八路军和人民群众，击退了国民党顽固派的多次进攻，保卫了陕甘宁边区的南大门。在大生产运动中，他以身作则，带头开荒种地。
1945年春，他出席了中国共产党第七次全国代表大会。抗日战争胜利后，张仲良调任陕甘宁、晋绥边区八路军联防军副政委。
1947年3月，胡宗南军队大举进攻陕甘宁边区，中共中央被迫撤离延安，转战陕北。张仲良受中共中央和中央军委的派遣赴陇东地区工作，任中国人民解放军陇东分区司令员，中共陇东地委书记，专员。