张俭（962～1053年），辽宛平（今北京宛平）人。他在辽圣宗耶律隆绪统和十四年（996年）举进士第一，即状元。随后，担任云州（今山西大同市）幕官。
按照当时的惯例，皇帝出巡时每到一地，当地长官都必须有所贡献。有一次，圣宗到云中打猎，云州节度使向他奏道：“臣境无他产，惟幕僚张俭，一代之宝，愿以为献。”圣宗召来张俭一看，只见他容貌举动质朴；问其治世之道，却口若悬河，当即奏对了30余事。圣宗非常高兴，遂将他带回朝中予以重用。
张俭于开泰（1012～1021年）年间累迁同知枢密院事，太平三年（1023年）为武定军节度使，太平六年（1026年）为南院枢密使、左丞相兼政事令，封韩王。兴宗耶律宗真即位后，又赐他“贞亮弘靖保义守节耆德”功臣，拜太师中书令，加尚文，改封陈王。
虽然张俭仕途顺利，官居高位，但他一直关心下情，体恤百姓。
有一次，某地发生了一桩特大抢劫案，官府在破案时捕获了8个嫌疑人，并立即将他们全部处死。然而，为时不久，真正的强盗落入了法网。于是，被杀的那8个人的家属一哄而起，纷纷到官府诉冤。官府无计可施，致使此事越闹越大。张俭听说后，接连三次上奏兴宗，请求为死者洗雪冤屈。兴宗勃然大怒，斥责道：“你难道要朕去抵命吗！”张俭仍据理力争，说：被杀的这8家，既然有冤，自然要申诉。他们中并无一人提出偿命要求的，只是期盼陛下对他们稍加慰问抚恤，使尸体能够收葬，使生者和死者得到安慰。兴宗这才消了火，并听从了他的意见。
后来，宋辽边境发生冲突，兴宗打算亲率大军同宋军开战。张俭认为，如此一来，必然会给百姓带来战争之苦，不知又有多少人死于非命，遂竭力陈述出兵的利害，建议他派一使臣前去交涉，而不要远劳征讨。兴宗感悟，没有发兵，而是通过外交手段解决了宋辽的争端，从而免除了双方生灵涂炭。
张俭为相20年，一直保持着俭朴的生活作风。他食不重味，穿的也只是粗布衣服。每领到俸禄，除留下生活必须之外，全都周济给了那些贫困的亲朋故友。
有一年冬天，张俭在便殿议事，兴宗见他身上的衣袍破1日不堪，就秘密指令侍从用火夹子将他的袍子烧了几个小洞，促使他快换件新长袍。不料，兴宗在此后数次召见他时，见他依旧穿着它。兴宗不解，问他为什么老是穿着这件旧袍？他答道：“臣穿这件袍子，已经三十年了。多年来，人们都崇尚奢奢靡。臣为了矫正时弊，才以自己的实际行动来开导！”
事后，兴宗可怜张俭的清贫，特下旨让他到内库随意选取他所需要的东西。他接旨谢恩，但结果却“持布三端而出”。当时的“三端”，相当于现在的18丈。兴宗见他放着金银财宝都不拿，仅仅拿了18丈布，对他更加敬重起来。
张俭有5位弟弟。兴宗“欲俱进士第”，即打算赐给每个人进士出身，但张俭却始终没答应。
张俭晚年退休在家，兴宗有时候还亲自到他家中去看望。有一次，掌管御膳的官吏得知皇上要在张家用餐，特地先行一步，供设下各种珍味佳肴。而张俭为了勉励皇帝节俭，却让人撤去了那些御膳。当他们君臣二人谈到吃饭时间，张俭让家人奉上清淡的蔬菜和干饭，双方都吃得很香甜。
张俭享年92岁，敕葬宛平县。《辽史》上称赞他“服敝袍不易，志敦薄俗，功著两朝，世称贤相”。