大宋仁宗年间，江南平江府东门外长乐村中个老者，姓秋，名先，原是农家出身，有数亩田地，一所草房。妻子水氏已故，别无儿女。那秋先从幼酷好栽花种果，把田业都撇弃了，专于其事。若偶觅得种异花，就是拾到珍宝，也没有这般欢喜。或遇见卖花的，有株好花，不论身边有钱没钱，一定要买。日积月累，便建成了一个大花园。
秋先每日清晨起来，扫净花底落叶，汲水逐一灌溉。到晚上又浇一番。若有一花将开，不胜欢跃。或暖壶酒儿，或烹杯茶儿，向花深深作揖，先行浇奠，口称“花万岁”三声，然后坐于其下，浅斟细嚼。酒酣兴到，随意歌啸。身子倦时，就以石为枕，卧在根旁。自含苞至盛开，未尝暂离。如见日色烘烈，乃把棕拂蘸水沃之。遇着月夜，便连宵不寐。倘值狂风暴雨，即披蓑顶笠，周行花间巡看几次。秋先平昔最恨的是攀枝折朵。生平不折一枝，不伤一蕊。就是别人家园上，他心爱着那一种花儿，宁可终日看玩。假使那花主人要取一枝一朵来赠他，他连称“罪过”，决然不要。若有旁人要来折花者，只除他不看见罢了，他若见时，就拿言语再三劝止。人若不从其言，他情愿低头下拜，代花乞命。人虽叫他是“花痴”，多有可怜他一片诚心，因而住手者他又深深作揖称谢。又有小厮们要折花卖钱的，他便将钱与之，不教折损。或他不在时，被人折损，他来见有损处，心凄然伤感，取泥封之，谓之“医花”。为这件上，所以自己园中不轻易放人游玩。偶有亲戚邻友要看，难以回时，先将薄话讲过，才放进去。那老者因得了花中之趣，自少至老，五十余年，略无倦意。筋骨愈觉强健。粗衣淡饭，悠悠自得。有得赢余，就把来周济村中贫乏。自此合村无不敬仰，又呼为“秋公”。他自称为“灌园叟”。
话分两头。却说城中有一人姓张，名委，原是个宦家子弟，为人奸狡诡谲，残忍刻薄，恃了势力，专一欺邻吓舍，损害良善。触着他的，风波立至，必要弄得那人破家荡产，方才罢手。手下用一班如狼似虎的奴仆，又有几个助恶的无赖子弟，日夜合做一块，到处闯祸生灾，受其害者无数。不想却遇了一个又似他的，轻轻捉去，打得个臭死。及至告到官司，又被那人弄了些手脚，反问输了。因收了幌子，自觉无颜，带了四五个家人，同那一班恶少，暂在庄上遣闷。那庄正在长乐村中，离秋公家不远。
一日早饭后，吃得半酣光景，向村中闲走，不觉来到秋公门前。只见篱上花枝鲜媚，四周树木繁翳，齐道：“这所在倒也幽雅，是哪家的？”家人道：“此是种花秋公园上，有名叫做‘花痴’。”张委道：“我常闻得说庄边有什么秋老儿，种得异样好花，原来就住在此。我们何不进去看？”家人道：“这老儿有些古怪，不许人看的。”张委道：“别人或是不肯，难道我也是这般？快去敲门！”那时园中牡丹盛开，秋公刚刚浇灌完了，正将着一壶酒儿，两碟果品，在花下独酌，自取其乐。饮不上三杯，只听得砰砰的敲门响，放下酒杯，走出来开门一看，见站着五六个人，酒气直冲。秋公料道必是要看花的，便拦住门口道：“列位有甚事到此？”张委道：“你这老儿不认得人么？我乃城里有名的张衙内。那边张家庄，便是我家的，闻得你园中好花甚多，特来游玩。”秋公道：“告衙内，老汉也没种甚好花，不过是桃杏之类，都已谢了，如今并没别样花卉。”张委睁起双眼道：“这老儿恁般可恶！看看花儿，打甚紧，却便回我没有！难道吃了你的？”秋公道：“不是老汉说谎，果然没有。”张委哪里肯听，向前叉开手，当胸一拳，秋公站立不牢，踉踉跄跄，直闪开半边。众人一起拥进。秋公见势头凶恶，只得让他进去，把篱门掩上，随着进来，向花下取过酒果，站在旁边。众人看那四边花草甚多，惟有牡丹最盛。那花不是寻常玉楼春之类，乃五种有名异品。哪五种？黄楼子，绿蝴蝶，西瓜瓤，舞青猊，大红狮头。
那花正种在草堂对面，周围以湖石拦之，四边竖个木架子，上覆布幔，遮蔽日色。花木高有丈许，最低亦有六七尺。其花大如丹盘，五色灿烂，光华夺目。众人齐赞好花，张委便踏上湖石去嗅那香气。秋先极怪的是这节，乃道：“衙内站远些看，莫要上去。”张委恼怒他不容进来，心下正要寻事，又听了这话，喝道：“你那老儿住在我这庄边，难道不晓得张衙内名头么？有恁样好花，故意回说没有。不计较就够了，还要多言！哪见得闻一闻就坏了花？你便这般说，我偏要闻！”遂把花逐朵攀下来，一个鼻子凑在花上去嗅。那秋老在旁，气得敢怒而不敢言。也还道略看一会就去，谁知这厮故意卖弄道：“有恁样好花，如何空过？须把酒来赏玩。”分咐家人快取。秋公见要取酒来赏，更加烦恼，向前道：“所在蜗窄，没有坐处。衙内只看看花儿，酒还到贵庄上去吃。”张委指着地上道：“这地下尽好坐。”秋公道：“地上龌龊，衙内如何坐得？”张委道：“不打紧，少不得有毡条遮衬。”不一时，酒肴取来，铺下毡条。从人团团围坐，猜拳行令，大呼小叫，十分得意。只有秋公咕嘟笃了嘴，坐在一边。
那张委看见花木茂盛，就起了不良之念，思想要吞占他的。斜着醉眼，向秋公道：“看你这蠢老儿不出，倒会种花，却也可取，赏你一杯。”秋公哪里有好气答他，气愤愤地道：“老汉天性不会饮酒，不敢从命。”张委又道：“你这园可卖么？”秋公见口声来得不好，老大惊讶，答道：“这园是老汉的性命，如何舍得卖！”张委道：“什么性命不性命，卖与我罢了。你若没去处，一发连身归在我家，又不要做别事，单单替我种些花木，可不好么？”众人齐道：“你这老儿好造化，难得衙内恁般看顾，还不快些谢恩！”秋公看见逐步欺负上来，一发气得手足麻软，也不去睬他。张委道：“这老儿可恶！肯不肯，如何不答应我？”秋公道：“说过不卖了，怎的只管问？”张委道：“放屁！你若再说句不卖，就写帖儿送到县上去！”
秋公气不过，欲要抢白几句，又想一想，他是有势力的人，却又醉了，怎与他一般样见识？且哄了去再说。忍着气答道：“衙内纵要买，必须从容一日，岂是一时急骤的事？”众人道：“这话也说得是。就在明日罢。”
此时都已烂醉，齐立起身。家人收拾家伙先去。秋公恐怕折花，预先在花边防护。那张委真个走向前，便要踹上湖石去采。秋先扯住道：“衙内，这花虽是微物，但一年间不知费多少工夫，才开得这几朵。假使折损了，深为可惜。况折去不过二三日就谢了，何苦作这样罪过？”张委喝道：“胡说！有甚罪过？你明日卖了，便是我家之物，就都折尽，与你干！”把手去推开。秋公揪住，死也不放，道：“衙内便杀了老汉，这花决不与你摘的！”众人道：“你这老儿其实可恶！衙内采朵花儿，值什么大事，装出许多模样！难道怕你就不摘了？”遂齐走上前乱摘，把那老儿急得叫屈连天，舍了张委，拼命去拦阻，扯了东边，顾不得西首，顷刻间摘下许多。秋公心疼肉痛，骂道：“这般贼男女，无事登门，将我欺负，要这性命何用？”赶向张委身边，撞个满怀，去的势猛，张委又多了几杯酒，立脚不住翻筋斗跌倒。众人都道：“不好了，衙内打坏也！”齐将花撇下，便赶过来要打秋公。内中有一个老成些的，见秋公年纪已老，恐打出事来，劝住众人，扶起张委。张委因跌了这交，心中转恼，赶上前打个枝蕊不留，撇作遍地；意犹未足，又向花中践踏一回。
当下只气得个秋公抢地呼天，满地乱滚。邻家听得秋公园中喧嚷，齐跑来，看见花枝满地狼藉，有人正在行凶，邻里尽吃一惊，上前劝住，问知其故。内中倒有两三个是张委的租户，齐替秋公赔个不是，虚心冷气，送出篱门。张委道：“你们对那老贼说，好好把园送我，便饶了他，若半个‘不’字，须教他仔细着！”恨恨而去。邻里们见张委醉了，只道酒话，不在心上。覆身转来，将秋公扶起，坐在阶沿上。那老儿放声号恸。众邻里劝慰了一番，作别出去，与他带上篱门，一路行走。
且说秋公不舍得这些残花，走向前，将手去捡起来看，见践踏得凋残零落，尘垢沾污，心中凄惨，又哭道：“花啊！我一生爱护，从不曾损坏一瓣一叶，哪知今日遭此大难！”正哭之间，只听得背后有人叫道：“秋公为何恁般痛哭？”秋公回头看时，乃是一个女子，年约二八，姿容美丽，雅淡梳妆，却不认得是谁家之女。乃收泪问道：“小娘子是哪家？至此何干？”那女子道：“我家住在左近，因闻你园中牡丹花茂盛，特来游玩，不想都已谢了。”