张伯行，字孝先，号怒斋，晚年更号敬庵，河南仪封(今河南兰考县)人。他于康熙二十四年(公元1685年)中进士，接着被任命为内阁中书。在此后的近40年宦海生涯中，曾先后担任过山东济宁道、江苏按察使、福建巡抚、江苏巡抚、户部右侍郎、仓场总督和会试总裁等职。无论在哪儿，他都“力求有益于民生国计”，“贻千百世生民之福”，并做出了显著成绩。因此，素以居官清正而名扬朝野，被皇帝和百姓共同誉为“天下第一清官”。
康熙四十二年(公元1703年)，张伯行被任命为山东济宁道。当时，济宁一带正闹饥荒，百姓背井离乡，四处乞讨，苦不堪言。张伯行在上任途中看到这番情景，心里很不是滋味。他让侍从将自己随身所带的钱物，不时地施舍给最困难的人。到任后，又立即下令开仓，赈济灾民。据史载，当时仅汶上、阳谷二县，就发放救济粮两万多石。他还让亲属从自己老家运来一些钱米，制作一些棉衣，送给那些饥寒交迫的灾民。但是，藩司却控告他擅动仓谷，理当撤职；他毫不悔恨，并坚信“仓谷为轻，民为重”，与之进行针锋相对的斗争。结果，朝廷核查后，并没给他任何处分。
张伯行升任福建巡抚后，除了继续关心民间疾苦，还虚心延访地方利弊，树立好的社会风尚。当他得知当地百姓视瘟神为“五帝”，并为之遍修庙宇，“祷祀昼夜不绝”时，立即下令将所有的瘟神塑像毁掉，还将祠庙改为义塾，供贫苦人家的孩子在里面念书。
张伯行任江苏按察使期间，扬州曾有6名秀才赏花吟诗，诗中出现了讽刺昏庸官吏的句子。扬州知府自认为写的是他，便忌恨在心，命人将那六位秀才告到了巡抚处。巡抚出于官官相护，决定革去六秀才的功名。张伯行得知此事，马上了解有关情况，极力为六秀才辩解，终于使他们保住功名。
张伯行就任江苏巡抚的第三年(公元1711年)秋，发生了震惊朝野的江苏乡试舞弊案：由于两江总督噶礼受贿五十万两白银，致使“平日不通文理”的两个人中了举，而真正的才子们却名落孙山。苏州数百名举子一气之下，将贡院门口匾额上的“贡院”二字改成了“卖完”；又把财神庙里的财神像抬入学宫，放在孔夫子圣像对面，以讽刺这次乡试为“惟财是举”。
张伯行迅速了解了有关情况，写上奏报给了康熙帝。康熙帝十分重视，即派户部尚书张鹏翮和侍郎赫寿会同噶礼、张伯行和安徽巡抚梁世勋共审此案。在审理过程中，一涉及噶礼时便进行不下去。张鹏翮、赫寿二人还想放过噶礼，而单单处理其他人。张伯行异常气愤，不顾一切地上疏弹劾噶礼，并要求停止会审，将噶礼革去官职，交大理寺审查。
万万没有料到的是，张伯行的上疏还没送到朝廷，竟被噶礼以重金买了回来，紧接着他反咬一口，七拼八凑地捏造了张伯行七大罪状，告到了康熙帝那儿。康熙帝令人审讯，人人惧怕噶礼权势，无不曲意阿附噶礼，从而使案情趋于复杂。康熙帝出于多种原因，遂将张伯行和噶礼一并解职，同受审查。
然而，主审官们上奏的案审结果是：噶礼无罪，张伯行纯属诬告！幸亏康熙帝是位明智的君主，及时地驳回了他们的“妄议”，并表示：“朕自幼读书，研究性理，如此清官，不为保全，则读书数十年何益？而凡为清官者，何所赖以自安？”那些主审官们这才转过舵来，拟恢复张伯行原职，罢黜噶礼。康熙闻奏，立即允准。
当张伯行和噶礼一起被解职时，扬州百姓主动罢市，数千人围着他所居住的公馆痛哭失声。第二天，又有一些人拿着水果蔬菜献给他并哭着说：“大人在任，只饮江南一杯水；大人要走了，请收下我们的一点心意。”张伯行无奈，只好收下了一块豆腐和一束蔬菜。
当康熙帝宣布张伯行继续留任的消息传到江南，江苏百姓欢声雷动，家家都在大门旁贴了一条红幅，上写：“天子圣明，还我天下第一清官！”士民还扶老携幼，一齐涌向圆妙观，焚香结彩，拜谢皇恩。与此同时，福建省的老百姓也“皆奔号呼吁”，以示庆祝。而那些身在京师的江南人，则主动集合，多达万人。他们拿着香，双膝跪地，启奏上苍：宁愿减去自己一年的阳寿，也祝愿明君康熙帝长寿万万年，以表达由衷的感激之意！
雍正三年(公元1725年)，张伯行病逝，享年75岁。雍正帝鉴于他为官清正、恪勤供职，特赠他太子太保，谥号“清恪”。福建、江苏、山东的老百姓，还都为他立祠祭祀，并誉之为“天下第一清官”。