秋天，雁阵如线一般在高空中横飞，美人眉目间满是哀愁，繁霜即将落下，百花枯萎。有一天，沈秀才百无聊赖，一个人在荒山岩石间慢走，只顾着在弯曲的山溪边闲步，到傍晚时还不回家。远远看见树梢后出现华美的楼房的一角，就向着目标奔了过去，打算请求借住一晚。楼对面有一条山溪，溪上有一座红漆的小桥，他渡过小桥来到楼前，门上装着铜兽模样的金环，椽子十分精美，檐角微微翘起，好像将要飞起的样子，似乎是富贵人家的住宅。
进门后，他咳了一声，想要引起楼中人注意，但没有人答应。他沿着曲折小路走了好远，只看到东一丛西一丛栽着花木。刚走近长廊时，忽然听到内房中有女人说话的声音，就藏起身子偷听。只听见有一女子说：“前夜一盘棋还没有分出胜负，就算了不成吗？”另一女子说：“算了。世上没有得到仙人麻姑真传的弈棋高手，人们往往说成是臭棋。在这深山良夜中，我们在这里论棋，别让那位曾经偷听孤姥寡媳谈棋的国手王积薪又来偷听，让他笑痛了肚皮。”一女子就说：“那么来练书法好吗？”另一女子说：“娟秀灵动的书法，世人反而认为怪异，龙飞凤舞的草书，几乎被人认为是鬼画符，一定要写得方方正正才能誊到试卷上，那些能够借此糊口的字，世人才认可，这怎不叫人丧气呢？还不如学学晋人崔君苗，把笔砚烧毁了的好。”
一女子又说：“那么来弹琴好吗？”另一女子说：“昨天听到一段笑话，现在我就说出来让大家大笑一场。从前有一士人很喜欢弹琴，号称自己弹得好极了。有一天正弹着琴，听见门外有人在叹息，就请进门来，问道：‘想必你也是个懂音乐的人，所以有些感动哀思吧？’那人答道：‘我亡父也很精通弹琴。’士人高兴极了，说：‘您受到家庭的熏陶教导，一定是真的知音了。’于是取过琴来再弹，意思是想展现炫耀自己的本事。那人听了好一会儿，脸上现出不以为然的神色。士人问他为什么，那人就说：‘先父可不是这祥弹的，声音虽然大致相近。只是他只用一根弦，而且多一根木棒敲击（指弹棉花）。’”众人顿时大笑。其中有一女子就说：“弹琴的人估计要被你嘲笑死了。”一女子说：“那么来画画怎么祥？”另一女子说：“在灯光下作画着色，恐怕色彩会很枯涩。我也有一个笑话，讲出来可以让大家笑一笑。”众人说：“你先说说看。”
那女子就说道：“从前有一个山西商人，在江南游玩，听说那儿的风俗大多喜欢画亡人的画像，画出来和在世时一模一样，心里非常羡慕。有一天那商人准备返回故乡，就到画师家里请求为他死去的父母画一幅真容，就把父母容貌怎样，仪态怎样一一告诉画师，请画师照他所说的情况画像，并给了钱，约定什么时间画好，他到那天来取画。到了约定的日子，山西商人来取画时，刚巧画师到别处去了，画师的妻子错把一幅春宫画给了他，他也不打开来看看，就放进包里带走了。回到故乡后，把所有亲族好友请来，向他们展示画像。卷轴一打开，他赶忙把画遮盖住，笑着说：‘想不到二老在阴间还是那么贪欢作乐！”众人哄堂大笑了好久。有一女子就说：“你这丫头真该打嘴巴！这话难道是我们女儿家能说的吗？”那讲笑话的女子说：“深夜无人，还不能嚼嚼舌头高兴高兴。”又一女子说：“漫漫长夜，怎么打发消遣呢？”一女子说：“还是叫婢女烫酒，大家一起尽兴喝酒，这是最快活不过的事了。”
接着就听见有叫唤婢女的声音，有邀请客人的声音，有摆弄蜡烛的声音，有支锅的声音，有摆汤匙筷子的声音，有安放搬动桌榻的声音，有彼此客套让座的声音。席间有时猜拳，有时藏钩猜枚，有时猜谜，什么游戏都有。有一女子说：“我们也应当耍耍笔杆子，学学文人。”就有一人问道：“那么用什么做题目呢？”有人立刻回答说：“台阶下面的海棠花盛开了，鲜艳美丽极了。这花是古代一位害相思病的女人死了以后变幻成的，又叫断肠花，所以这种花哀艳纤细，随风摆动，就好像在哀诉似的。我们就借花言志，来借此寄托表达自己的情怀，好吗？”又一人说道：“很好。那么就请大姐先作，然后大家接着写。如果写不完，是要罚酒的。”其中又有一人说：“这不适合用诗歌咏，似乎还是做小令词比较好。”众人说：“对极了。”于是听到有人拖着长腔吟道：
碧梧金井芙蓉院，红妆翠袖依稀见。小妹正梳头，一枝开晚秋。
颊痕娇粉浣，不管人肠断，犹幸说无香，三生还断肠。
一女子说：“写得真是哀怨。”就接着吟道：
春人性格秋娘命，春韶无福三生定。索性再迟迟，与梅开一时。
檀心如豆大，中有情丝在。莫道此心酸，心酸人乍看。
一女子说：“二姐暗用梅花聘海棠的典故，真是出神入化。”接着也吟道：
夜深清梦依然好，恼人那有莺啼搅。遮莫卷帘瞧，防他烛泪抛。
一般篱菊瘦，颜醉何须酒。人远隔天涯，西风珍重些。
一女子说：“三姐此词着意在一秋字，多么高雅，妹子甘拜下风。”接着吟道：
托根喜傍牵萝屋，避寒也怕严霜酷。一穗嫩胭脂，夕阳残照时。
前身思妇泪，粉蝶偎他睡。不管可怜侬，泪痕如许侬。
众人听了都说：“这丫头该罚，故意写这些哀伤词句，那么惹人伤心。”那女子不服，说：“我是脱口而出，真情自然流露。那么姐姐们也有触景生情的绝妙好词吗？”她才讲完，众人都很觉伤感，好像还听到有人在帘子旁边抽泣。过了一会儿，又听到房中杯筷碰撞的声音，估计是在举杯痛饮，非常尽兴。一女子说：“夜深了，妹妹我想去睡了。”又一女子说：“这样的欢会不常有，还请多坐一会儿。”另一女子说：“我本来就知道这丫头不能熬夜，昨天才点灯，她就裹着被子睡着了说梦话。”一女子就问：“她说什么？”回说：“我可不敢说，我害怕惹她发火。”众人都竭力要她讲出来，那女子就笑着说：“她在想汉子呢。”果然就听见有一女子站起，好像是在举手打人，手镯叮叮当当地响，众人笑着劝开，好一会儿才安静下来。那被嘲笑的女子说：“像你姐姐一睡就睡死了，才是真不雅观，还常把小脚搁到别人肩上。”大家发出一阵大笑。真好像一群莺莺燕燕，叽叽喳喳的声音一整夜都没有停止。不久，听到鸡啼的声音，众女子才起身回房准备休息，响起了一片环佩碰撞的清脆声响，渐渐消失了。沈秀才蜷伏着不敢动。
不一会儿，晨光渐渐透出白色，听到内房中鼻息浓浓。沈秀才走进厅堂中张望，看见墙的正中间挂着一幅水墨山水画，落款是“冰壶老丈嘱迂叟写《蓬壶清閟图》以疥壁”。左右一副对联写道：
数百岁陈人酒胆诗魂随月古，
一二声清磬鸟啼花落送春归。
又有一副对联写道：
百岁光阴如过客，
一家儿女尽诗才。
桌上放着书籍信笺，壁上挂着琴和剑，炉内香已经烧成灰烬，胆瓶内插着一簇秋海棠，鲜艳美丽，一切都布置得十分妥当。沈秀才没有时间从容漫步赏玩，只想偷一样东西回去向人展示。看见石阶上有一双女人穿的绣鞋，好像是这家人放在那儿晾晒，还没来得及收起，就弯下身子拾了一只。看那绣鞋窄窄的，还不满手掌大，鞋面绣得很精美，上面嵌着很多明珠，大小有的像小米，有的像豆子。鞋底铺着香屑，散发出如麝香似兰花般的香气，令人心醉。沈秀才把绣鞋藏在怀中，拔去门闩，顺着来路出门离开。回望山上房屋，那楼角的一抹红色还在绿树梢上显露出来。
沈秀才回到家中，心里还是一片迷惘，他不知道自己遇到的究竟是仙，是鬼，是人，还是妖。他偷偷地把绣鞋藏在锦盒中，偶尔也拿出来给别人看，见到的人都感到非常惊奇。有人笑他说：“既然偷她们家东西，为什么不把琴、剑偷回来，还可以值得十几贯钱，竟然单单只偷这样一只鞋子回来！”于是大家约定一起来到原先沈秀才去过的地方，只看到山中云雾迷漫，根本没有什么楼阁，周围树木阴森。他们非常怅然地待了好一会儿，只听到隔山有人在唱山歌的声音：
云茫茫兮仙人所居，石齿齿兮谁识其途。
鹤归来兮之子回车，可望不可即兮何有何无。