张玺是河北省平乡县人，青年时期以优异成绩考入河北省立第四师范学校，在校期间，他积极参加爱国学生运动，在张增智、胡丰登的介绍下加入了共产主义青年团，很快担任了邢台三所学校的团总支书记，成为了邢台学生运动的骨干。
1931年“九·一八”事变之后，全国各地掀起抗日救亡爱国群众运动，受北平学潮的影响，张玺率领邢台地区的团组织和共青团员，积极开展反抗日本侵略、查禁日货的爱国宣传活动。
1932年秋，张玺因团总支秘书胡丰登叛变而在邢台被捕。面对敌人的严刑拷打，张玺义正辞严地坚持“抗日无罪”的坚定立场。敌人拿他没办法，不久他被押解到“北平军人反省分院”，即草岚子监狱，坐牢4年多。
草岚子监狱是国民党反动当局用来关押“政治犯”的临时看守所，专门关押被北平行营军法处判了刑的政治犯。他们妄图通过感化、诱降等卑劣手段，动摇在押共产党人的信仰，使他们自首叛变，出卖革命。在草岚子监狱中被押的有殷鉴、薄一波、刘澜涛、安子文、张友清、杨献珍等一大批坚定的共产党员。
张玺入狱后，在狱中党支部领导下，勇敢地参加反对国民党反动派“反省政策”和反对监狱当局克扣口粮、争取下镣、要求保释病人等斗争。入狱后的第一关，就是经受敌人劝降的考验，敌人放出风声说“家里可来人规劝”，张玺的家人闻讯前来劝说过两次，张玺坚持立场毫不动摇，同时晓之大义，说服家人把带来给他赎身的钱全部交给了党组织，作为接济难友、坚持狱中斗争和学习的费用。第二关则是经受酷刑考验，在一年半的时间里，他被连续审讯3次，每次都是当面过堂，关独居监房，戴着7斤多重的镣铐，受到残酷折磨。但他抱定为革命而死，死得其所的决心，不被敌人的淫威所吓倒。由于他在狱中表现出宁死不屈、大义凛然的英雄气概，极大地鼓舞了狱中难友，在青年中享有崇高威望，1934年由共青团员转为共产党员，成为在监狱里入党的为数不多的优秀党员之一。
为了坚持长期斗争，被关押的共产党员在狱中建立了党支部，殷鉴、薄一波先后担任过支部书记，刘澜涛、安子文、杨献珍等是支部骨干。在斗争中，有些难友为了急于成功，提出了越狱暴动的行动方案，还举出了王维纲越狱成功的例子，来说明越狱的可能性。党支部经过商量，考虑到越狱是不现实的，搞不好会造成无谓牺牲。草岚子监狱位于北平市中心地段，敌人有严密防范，即使越狱成功，出去后也难逃敌人之手。
党支部经过慎重研究，主张“反省分院”斗争的最高形式应是绝食。张玺拥护这个决定，并在青年同志中进行了耐心的说服工作。1934年12月19日，狱中党支部发动了一次为期7昼夜的绝食斗争，包括病号在内有60多人参加。当天早饭时，大家走进食堂，肃静坐好，谁也不动碗筷。中午，监狱还是照样在开饭，但谁也不去吃饭。监狱看守把饭递到跟前，大家闭上眼睛，不予理会。
开始时，监狱当局习惯性地采取法西斯式的蛮横态度，并发狠话说：“所提要求，有的可以考虑，但必须先复食。否则，饿死一个抬走一个，饿死两个抬走一双。”后来，敌人开始软硬兼施，先以好饭好菜相诱惑，后以“死几个人我们不在乎”相威胁，再次劝大家复食并称“有话好说”，但都被大家坚决拒绝了。大家相互鼓励，决心斗争到底。
由于这次斗争准备最充分，参加人数最多，到了第7天，监狱当局派个处长主动要求谈判，说“只要复食，可以答应所提条件”。经薄一波、殷鉴、张玺商量，决定绝食斗争适可而止，从而迫使敌人基本上答应了难友们提出的条件。
1935年春，草岚子监狱来了3个神秘人物，一个自称是“军法处的法官”，另两个说是“共产党要犯”，后来查明，这3个人是南京派来的国民党宪兵特务。他们冒充法官和犯人，打入“反省分院”内部，掌握了狱中党组织的一些情况，决定将包括张玺在内的12位狱中斗争的组织领导者和骨干处死。面对死亡，张玺和他的战友义无反顾，决心就义。此时，正值“何梅协定”签定，确定华北五省自治，国民党的势力退出北平，国民党宪兵部队仓皇南撤，张玺和这些冤中难友才幸免于难。
张玺在狱中坚贞不屈，表现了一个共产党人的崇高气节，得到了狱中同志的爱戴，送了他一个亲切的绰号——“小骆驼”，意指他像骆驼一样，身负重托，任劳任怨，一步一个脚印地行进在沙漠里。他憎恨敌人，对敌人的肉体和精神折磨有很强的忍耐力；他热爱同志，对难友热心帮助，有说服力；他酷爱读书，对革命理论有极强的吸收力和消化力。薄一波称赞他是“狱中青年里最好的一个”，“对敌斗争坚决勇敢，又是个学习马列主义的模范。”