当初，南阳人张释之任骑郎，任职十年仍没有得到升迁，打算辞官回归故里。袁盎知道张释之是位贤能的人，就向文帝推荐他，升任谒者仆射（púshè）。
张释之跟随文帝出行，来到御苑中饲养老虎的虎圈。文帝向上林尉询问御苑中所饲养的各种禽兽，先后问了十多种，上林尉左张右望，全都回答不上来。
站在一旁的虎圈啬夫替上林尉回答文帝的提问。文帝询问禽兽数目，问得非常详细，想考察虎圈啬夫的本事。虎圈啬夫随问随答，没有一个问题能难倒他。文帝说：“做官吏难道不应该这样吗？上林尉不值得信赖。”于是命令张释之去任命虎圈啬夫为管理御苑的上林令。
张释之等了一会儿，才上前对文帝说：“陛下认为绛侯周勃是个怎样的人？”
文帝回答说：“是长者。”
张释之又问：“东阳侯张相如是个什么样的人？”
文帝又回答说：“长者。”
张释之说：“像绛侯周勃、东阳侯张相如这样的人，您称他们为长者，他们两人在汇报时尚且不能对答如流，哪里像这个啬夫这样口齿伶俐呢？秦朝因为重用刀笔之吏，官场上争相以细小敏捷的观察为高，它的害处，是徒具文采而没有实际内容，皇帝听不到对朝政过失的批评，结果问题一点点积累，使国家走上衰亡的道路。现在陛下因为啬夫巧于辞令而破格提升，我只怕天下人闻风而动，争相效仿，都去练习口齿辩论，而不讲究真才实学。下面的人受上面的人影响，速度比光影、声响还快。君主的一举一动，不可不审慎啊！”
文帝说：“说得好！”于是就不给啬夫升官。
文帝上车，召张释之陪乘，一路上缓缓而行。文帝向张释之询问秦朝政治的弊端，张释之都给以质直的回答。回到宫中，文帝任命张释之为公车令。
过了不久，太子与梁王共乘一车入朝，经过司马门，他们没有下车表示敬意。于是张释之追上太子和梁王，让他们停下来，禁止他们进入殿门，并弹劾他们“经过公门不下车，是为不敬”。薄太后也听说了这件事，文帝为此向太后脱下冠冕，为自己教子不严而道歉。薄太后于是派使者传诏赦免太子和梁王，他们二人才得以进入殿门。文帝从这件事上看出张释之这个人不一般，就将他升任为中大夫，不久，又升到中郎将。
张释之随从文帝出巡，视察文帝的陵墓霸陵。文帝对群臣说：“呀！我的陵墓以北山的岩石为外椁（ɡuǒ），把枓麻絮切碎，和漆填充在缝隙中，谁还能动得了它呢？”左右群臣都说：“是啊！”只有张释之说：“假如里面有能引起人们贪欲的东西，即使熔化金属把整个南山封起来，也是有缝隙的；假如里面没有能引起人们贪欲的东西，就算没有石椁，又有什么可担忧的呢？”文帝称赞他说得好。
这一年，张释之被任命为廷尉。文帝出行，路过中渭桥，有一个人从桥下面跑出来，使皇帝御车上的马匹受了惊；于是文帝让人骑马追上去把他抓住，送交廷尉治罪。
张释之奏报处置意见：“这个违犯了道路戒严的规定，应当罚金钱。”
文帝发怒说：“这个人惊了我的马，幸亏这马性子温和，若是其他的马，岂不是要伤害我了吗？而廷尉却说只应当判罚金钱！”
张释之说：“法，是天下人共有，对天下人公平的。如今的法律规定，这个人所犯之事就应当这样处罚。另外加重他的罪责，那就不能取信于民了。而且在他被抓的时候，皇上如果将他诛杀，倒也罢了。现在既然已经把他交给廷尉，廷尉是天下公平的典范，稍有倾斜，天下用法就都或轻或重，就有失公正了。那样的话，百姓怎么才能知道自己该怎么做呢？请陛下三思。”
文帝考虑了很久，说：“廷尉的处置是公正的。”
此后，有人偷盗高皇帝庙里神位前的玉环，被捉住了。汉文帝大怒，交给廷尉治罪。张释之按照“偷盗宗庙服饰器物”的罪名，上奏说案犯应当在街市上斩首。
汉文帝大怒，说：“这人大逆不道，竟敢偷盗先帝的器物！我将他交给廷尉处置，是想诛灭他全族；而你却拿法律来，上奏只将他在街市上斩首，这可不是我供奉宗庙的本意。”
张释之见文帝震怒，脱去帽子，叩头谢罪说：“法律就是这样定的，只能这么判了。而且同样的罪名，应当根据情节严重程度来衡量判刑的轻重。今天这个人若因为偷盗宗庙器物而被灭族，倘若万一有愚民从高皇帝的长陵上取了一捧土，陛下将怎样给他惩罚他呢？”
于是文帝向太后说明情况，太后批准了张释之的判处。