黄仁宇在《万历十五年》中写到海瑞，用了这样一个标题：“古怪的模范官僚”，这话粗看起来似乎有点道理，细细琢磨，并不尽然。何谓“古怪”？这里面有一个视角问题，有一个立场问题。他为官清正廉洁、刚直不阿、锋芒毕露，在吏治败坏、贪赃枉法盛行的官场，显得特立独行，在那些贪官、庸官眼里，如芒刺在背，格格不入，委实有些“古怪”。
他在担任南平县教谕（县学教官）时，主管监察事宜的御史前来考察，到了学宫，命令教官们下跪迎接，海瑞却立而不跪，义正词严地说：如果到御史衙门参见，理当行下属礼，然而此地乃是师长教士之地，教官不应当屈膝。另外两名教官夹住海瑞下跪，他依旧立而不跪，形成奇特景象：两个下跪的人中间夹一个站立的人，像一个山字形的笔架，当时人称之为“笔架博士”。他在县学里，用儒家的圣贤之道来教育诸生，不收“束修”（学费），拒绝诸生送来的馈赠。他的上司起先感到古怪，后来明白了他的用意，礼遇有加。
升任淳安知县后，海瑞知道这是一个贫困县，格外关注民生，裁革“无名常例”（各种名目的税费），自己除了微薄的薪水，不再收取一丝一粟的外快，和仆人过着清苦的生活。为了紧缩开支，县衙门雇佣的吏胥（办事人员），公事完毕以后，各自回家务农，不舍弃本业。总督胡宗宪之子从杭州返回徽州，路过淳安，强令驿站提供交通工具，驿站主管因为他不是官员，予以拒绝。此人依仗父亲的权势，把驿站主管倒悬在凉亭里。海瑞闻讯赶来，不愠不火地说道：胡大人清廉无二，早就关照过，儿子路过淳安时，地方官不要铺张浪费招待。如今此人所带行李既多又重，必定不是胡大人之子。随即没收了行李中几千两银子等贵重物品，派人快马加鞭前往杭州，把情况一五一十报告胡宗宪。胡宗宪哑巴吃黄连，有苦说不出，却也抓不住把柄，只好不了了之。
巴结严嵩之子严世蕃而官运亨通的鄢懋卿，谋得了都御史、总理盐法的差事，贪赃枉法，成为暴发户。他带着小妾巡游，小妾乘坐“五彩舆”（彩色花轿），由十二个女子抬着，招摇过市。每到一地，令地方长官款待，所用厕所豪华无比，不仅用绫罗绸缎装潢，而且马桶是白银打造的。路过淳安，海瑞我行我素，只用粗茶淡饭招待，一再声明，淳安是贫困县，无力接待贵客，请饭后立即启程。鄢懋卿恼怒得很，正要发作，随从提醒胡宗宪之子在这里的遭遇，只得灰溜溜地离开此地。
对于如何当好县官，海瑞有自己独到的见解，他说：“知县者，知一县之事，一民不安，一事不理，皆知县责也。”上面的朝廷是我的父母，中间的巡抚、巡按是我的昆弟，下面的里老、百姓是我的子姓。处理这些关系，各有正道。他反对因循苟且的为官之道：“若谓止可洁己，不可洁人，洁人生谤；若谓不可认真，认真取祸；不顾朝廷之背否，以乡愿自待，以乡愿待人，弃吾子姓，弃吾昆弟，莫甚焉。”在他看来，为了招待过往的官员，向百姓摊派税费，还自诩为通融，这个口子绝不能开：“其言不过一开口而已，不知此口一开，惠私一人，害千万人，不可开也。曰：不过费纸一张而已，不知此纸一发，惠私一人，害千万人，不可发也。”
最为人们津津乐道的是，海瑞出任户部主事后，对嘉靖皇帝的尖锐批评。嘉靖四十一年（1562）严嵩下台，三年后严世蕃被处死，抄没严府家产，意味着一个贪腐时代的结束。然而嘉靖皇帝还活着，依然故我，朝政没有起色。正如黄仁宇所说：“严嵩去职虽已三年，但人们对嘉靖的批评依然是‘心惑’、‘苛断’和‘情偏’。然而他对这些意见置若罔闻，明明是为谀臣所蒙蔽，他还自以为圣明如同尧舜。”
嘉靖四十五年，刚直不阿的海瑞，向嘉靖皇帝上《治安疏》，以无所顾忌的姿态、锋芒毕露的文字，批评皇帝，抨击朝政。一时间，这份奏疏广泛传抄，朝野轰动，称之为“直声震天下”。
他在奏疏中毫不客气地指责皇帝清虚学道，潜心修醮，以至于二十多年不上朝理政，导致纲纪废弛，吏治败坏，民不聊生，“天下因陛下改元之号，而臆之曰：‘嘉靖者，言家家皆净而无财用也。’”他指出：臣民不对陛下讲真话已经很久了，官员们“愧心馁气以从陛下”，“昧没本心以歌颂陛下”。陛下一意玄修导致“心惑”，过于苛断导致“情偏”，大臣为了俸禄而阿谀奉承，小臣由于畏罪而唯唯诺诺。因此要冒死进谏，希望陛下“幡然悔悟”，洗刷“君道之误”。
上朝前，海瑞特地买了一口棺材，诀别了妻儿老小，把后事托付给同乡好友——庶吉士王弘诲。这一切表明，他决心冒死谏诤，为了促使皇帝幡然悔悟，必须言词激烈，就好比治重病下猛药。对皇帝下猛药，被旧史家称为“批逆鳞”，势必引起龙颜大怒，难逃一死。海瑞知道这样的后果，迎难而上。他一向反对官场上庸俗的风气——“医国者只一味甘草，处世者只二字乡愿”，用味甜性温的甘草无法医治国家重病，用明哲保身的乡愿哲学混迹于官场必将祸国害民。
这帖药猛烈得让嘉靖皇帝无法消受，此公自比为尧舜，书斋也以“尧”命名，而海瑞说他连汉文帝都不如，气得他浑身发抖，把奏疏扔到地上。过了一会，又把它捡起来，要看看后面还写了些什么。之后，勃然震怒，吩咐身边的太监黄锦：把他抓起来，不要让他跑了！黄锦告诉他：海瑞自知触怒皇上必死无疑，诀别妻子，买了棺材来上朝，等待入木，不会逃跑的。还说：看他的为人，刚直有声，为官不取一丝一粟。听了这话，嘉靖皇帝平静了下来，再三阅读这份奏疏，叹息道：真是忠臣，可以和比干相媲美，但朕并非殷纣王。随即给内阁首辅徐阶写了秘密手谕：“今人心恨不新其政，此物可见也，他说的都是。”一向听不得批评的皇帝，居然破例承认海瑞“说的都是”。但是，这不过是私底下的表态，只有徐阶一个人知道；为了维护自己的面子和威望，一定要处死海瑞，再一次显示自己的尊严不可冒犯。
徐阶内心赞成海瑞对皇帝的批评，这从他不久后代替嘉靖皇帝起草的遗诏，可以看得很清楚。如果直白地说出来，局面反而不好收拾。政治经验丰富的徐阶用另外一种方式帮助海瑞，对皇帝说：海瑞这样的草野小臣，无非是想沽名钓誉，陛下如果杀了他，恰恰成就了他，在青史留下英名；不如留他一命，使他无法沽名钓誉，也显得皇恩浩荡。于是乎，海瑞侥幸逃过一死，关进了监狱。
不久，嘉靖皇帝突然驾崩。海瑞在狱中听到噩耗，如丧考妣，呼天抢地，嚎啕大哭，呕吐得一塌糊涂，昏厥了过去。次日清晨，他披麻戴孝，为死去的皇帝服丧。史家评论说，由此可以看到真正的忠臣心态。此话言之有理，海瑞骂皇帝，并不是痛恨他，而是希望他从此振作起来，做一个好皇帝。比起那些“一味甘草，二字乡愿”的官僚，他才是真忠臣。
徐阶在嘉靖与隆庆交接之际，拨乱返正，代替大行皇帝起草遗诏，让已经死去的皇帝检讨痴迷于道教的错误，为那些批评皇帝而遭到惩处的官员恢复名誉和官职。海瑞由此得以释放，官复原职。何乔远《名山藏》写道：“上崩，庄帝（隆庆）即位，以遗诏出（海）瑞，复故官。”由此可见，徐阶对于海瑞的意义非同一般，既救他一命，又延长了他的政治生命。
不久，海瑞以都察院右佥都御史的身份巡抚苏州、松江等府。这一带是全国的经济中心，显然朝廷想借重海瑞的威望，加强这个财赋重地的控制。海瑞的任命一公布，那些贪官污吏慑于他的声威，望风挂印而去；一向骄横的苏州织造太监，出行坐八抬大轿，听说海瑞将至，立即去掉四个轿夫；苏州的显赫豪门，为了炫耀，把门墙涂成赭色，听到风声，一夜之间改成黑色。
苏州府、松江府一带盛行“投献”，具有官僚背景的豪绅（即所谓“乡官”）利用“投献”的名义，霸占民田，逃避赋税。据说，有上万乡民向海瑞告状陈词。海瑞秉持一贯的风格，雷厉风行予以整顿，并且要求家在松江的徐阶带头，“退田过半”。徐阶有恩于他，他却丝毫不讲情面，非退出一半田产不可。言官戴凤翔站在“乡官”立场上，攻击海瑞“沽名乱政”，“迂狂颠倒之甚，不可一日居地方”。海瑞据理反驳：“今日乡官之肉，乃小民原有之肉，先夺今还，先夺其百，今偿其一。臣恐（戴）凤翔亦是此等乡官也。”戴凤翔理屈词穷，然而朝廷中苏松一带的官员势力强大，出于自身利益考虑，把海瑞调往南京，总督粮储，明升暗降。海瑞感叹道：“今日皇上有锐然望治之心，而群臣绝无毅然当事之意，苟且因循，排奖牵制。”愤然辞官而去。
万历十年（1582）张居正去世后，朝廷起用他为南京吏部右侍郎。当时他已经七十二岁，朋友劝他推辞，他说：老臣耄耋之年受天子特达之知，当有特达之报，岂能以犬马余龄为嫌，回避皇帝帷盖之恩。他一如既往，正如尹守衡《明史窃》所说，“罢无名官费，理根拔枝，毛举细察”。由此遭到忌恨者弹劾，转任南京都察院右都御史，七十四岁死于任上。死时，依旧两袖清风，要不是朋友帮忙，差一点连殡葬都无钱料理。
这样的为官风格，古怪吗？高风亮节，历来曲高和寡，和海瑞相比，后世许多官僚望尘莫及，今日亦然。