1936年秋，张玺经中共中央北方局刘少奇等人营救出狱。根据中共中央北方局的决定，张玺被派到直鲁豫特委任宣传部长，从事地下工作。
1937年“七·七”事变后，日军迅速南进，国民党部队节节败退，中华民族面临着亡国灭种的危险。受组织的派遣，张玺来到冀鲁豫边区，并成为该根据地的创始人之一。
1940年4月，张玺担任中共冀鲁豫区党委副书记，不久接任书记。他上任之时，正值冀鲁豫抗日根据地处于最困难的岁月。6月10日（农历5月5日），日军纠集重兵对冀鲁豫根据地进行残酷的大扫荡，迅速占据了各县县城。冀鲁豫军区司令员杨得志率部与敌周旋，在歼灭敌人一部之后，跳出了包围圈。张玺与杨得志一起组成指挥部，领导地方部队和部分主力部队坚持反扫荡，机动灵活地打击敌人。这次残酷的大扫荡，使冀鲁豫区这个完整的根据地被分割成许多小块，最大的一块就剩下内黄南部、清丰西部、濮阳西北部、滑县东北部、卫河东部的沙区中心区。
国民党的反共高潮，直接助长了日寇的侵略气焰，1941年4月12日，日寇在从内黄到清丰、濮阳、浚县、滑县一带的沙区（亦称黄泛区）内，开始了极其残酷的毁灭性大“扫荡”。时值春末，整个黄泛区风沙弥漫，一片昏黄。日寇以杀光、烧光、抢光的极其残忍的手段，妄图彻底摧毁沙区，将共产党领导的抗日武装力量挤走。张玺曾在自己的日记中记载日军对沙区的扫荡是“悲惨之状，目不堪睹”。
在这次反扫荡中，张玺与杨得志一直坚持在沙区前沿，指挥主力部队和地方武装与敌激战，消灭日、伪军各一部。在残酷的斗争形势面前，张玺感到，在整个战争形势恶化，抗日根据地被日、伪、顽蚕食、分割、封锁的情况下，要把冀鲁豫抗日根据地巩固和坚持下去，只有紧紧依靠党，依靠人民群众，以斗争求生存，在斗争、生存中求发展。他始终战斗在抗日第一线，带领全区军民“以牙还牙，以血还血”，以强烈的民族义愤和阶级感情，经受着抗日战争最黑暗、最艰难、最残酷和最严峻的考验。
这次反扫荡结束后，张玺与冀鲁豫行政公署主任晁哲甫一起，面见冀鲁豫军区司令员杨得志，认真总结两次反扫荡的经验教训，动员党、政、军、群团等力量，面对敌人对我沙区根据地的残酷扫荡，共同渡过难关。
晁哲甫首先介绍情况说：“这次‘扫荡’，可以说把我们的家底大部分都折腾光了。现在群众要吃、要穿、要住，一句话，要生存下去！救民如救火，但是再用以前发动群众‘吃大户’的方法，肯定行不通了。”张玺分析了当时的形势后认为，应当充分发挥党的抗日民族统一战线的威力，动员一切可以动员的力量，“有钱的出钱，有力的出力”，救济难民就是抗日爱国，可以旗帜鲜明地去做，而且可以向一些开明的地方士绅进行募捐。
杨得志司令员觉得张玺说的有道理，就同意了进行募捐这个办法。张玺动员党、政、军、群各方面力量，在不长的时间里，终于筹集了晋冀鲁豫抗日民主政府发行的“边区货币”9万多元，粮食8万余斤，衣服上千件，以及柴草和大量的锅、碗、瓢、盆等农具、家具，全部救济了难民，使遭受劫难的沙区根据地人民暂时渡过了“生死关”。
在抗日战争最艰苦的日子里，晋冀鲁边区又发生了严重的旱灾，沙区尤其严重。由于长年无雨，田间几乎颗粒无收，百余万群众在死亡线上挣扎，受灾群众纷纷逃向周边的区、县。张玺首先狠抓了正规军的扩大和区、县武装的整顿，以及民兵的发展，使全区保持了一支机动灵活的打击敌人的武装力量，严防敌人在此时刻抢粮。其次，着重抓了救灾工作，发放救济粮款和其他物资，帮助群众渡过灾荒，重建家园，并对乘机骚扰之土匪、反动会道门给予打击和镇压，稳定了社会秩序。在中共晋冀鲁区党委的领导下，边区人民硬是在敌人图谋毁灭的这块土地上，顽强地坚持下来了。