广东省澳门岛有位姓仇的居民，名端，经常随海舰出外洋到全球各国贸易。一日遇到飓风，船上老大吓得面部苍白。波涛巨浪中若隐若现出现一座古岛，因此急忙驶向岛边泊船，得以安然无恙。没过多长时间海上风浪平息，船老大等撑篙弄桨已没有丝毫力气。仇端登上古岛散步，看见岛中枯树极多，树干大约有十围粗，树上却有很多洞，洞中有小人住在里面。小人有七八寸，也有美丑尊卑、老幼男女的区别，皮肤颜色就像栗子皮。每人身上配有小腰刀弓箭等武器，大小与人的身体相匹配。看到仇端在窥视，齐声说：“嘈渠三咿唎。”
仇端想解手，就解开裤子蹲在地上，并对着石块钻火抽烟。忽然听见人声喧闹，就像秋水池塘里小鸭子一样成群结队而来。仇端惊讶地观看，只看到枯树最多的地方有小城郭，城高大约到膝部，全用黑石砌成。城门打开，大概有一千多小人有序而出，摇旗呐喊，各树孔中都有小人出来迎接，拱手服从号令。小人中有个年轻的，戴束发紫金冠，插两根雉尾，面目端正，身穿银锁甲，骑着还未成熟的雏鸡，指挥如意，口中喃喃不知说些什么。接着听到众人一齐响亮应答道：“希利。”手执锋利兵器向仇端相拥而来。仇端大吃一惊，知道他们为驱赶自己而来。可是藐视他们生得矮小，不很害怕，依旧蹲在原地。年轻人又喃喃自语，仇端不予理睬，年轻人就号令大众与仇端开战。小箭、小戈小枪刀、矛钻刺两腿上，很痛。仇端厌恶他们，用手中烟筒敲打着年轻人闹着玩，没想到一击他就马上翻身倒在鸡背上，死了。众人赶紧抢回尸身，把城门牢闭，剩下的都窜入树孔中。仇端也再一次回到船上。
夜深人静，没有人烟的吵闹声，只听得岸上小人大队人马蜂拥而来，抛掷泥沙而高呼道：“黎二师四吚唎。”直到天亮有了鸡叫才寂静无声。仇端在枕上独自思考，如能领取一两个小人回故乡，倒可以向俗人夸耀一番而赚钱。次日大清早，仇端刚起来就假说去砍些柴禾，携带斧子与布袋来到昨日地方。才砍破一树，树洞里小人很多，还有酣睡未醒的。仇端一一拾起而装入布袋中，估计一家眷属没有一个漏网的。回到船上，偷偷用饭喂他们，他们也吃，而特别喜欢吃的是松子果品。仇端正计划着再去一次，可是岸上小人太多如恒河沙数，如蚁集蜂屯，口中喃喃自语像在辱骂，而且小箭如雨一样向船射来。船上人害怕埋怨，都解开缆绳离去。
一个多月过后回到广东，拿小人的事请教饱学名士，学士们都认为是僬侥国的矮人。问洋人，洋人说：“这东西能腌制成腊肉，它们的味道极为甘美。小人不会独自行走，怕被海鸥衔去哩。”仇端听了特别高兴，在集市上设置布帐幕，把小人放入盒子，四周镶嵌上水晶玻璃片。观看的人像是看西洋画，仇端也因此赚到好多的钱。
有个盐运使某公喜欢这些小人，授意盐商，把这些小人用一千两银子从仇端手中买去。盐商用紫檀木雕刻成小房屋，前后三进，两旁是走廊。房屋中间还摆放着衣箱奁具、几案床幔等器物。当日就献给盐运使，盐运非常珍惜它们，把它们当作一件价值连城的宝贝。
小人内部是年幼的尊贵，常常见到年老的向孩童弯腰打躬作揖。而且妇女的地位会比较重要，不时会看到须眉男子向巾帼女屈膝行礼。它们一昼夜睡三次觉，后来发现他们是把一日看作三日。男女都在一处地方住宿，每次睡觉都要交欢，可是不许别人偷看，被人偷看了就会恼羞成怒，然后拔刀自刎而死。它们又最怕雷，听到雷声一定要把他们装入瓮中，深藏在地窖内。
小人被豢养久了，渐渐懂得人的礼节，懂得了人的意思，每次看到盐运使所养的妖童艳妾，一定叩首行礼。如果见到龙钟老长辈和道学先生，就躲藏在内不出外。他们喜欢穿着奢华艳丽服装的人，见了必定舞刀弄枪献出各种技艺。如果看见穿破帽烂衫的人，一定会争着抢着挺身而出，指着他大骂道：“蒜平吚唎。”本性又喜欢妒忌，稍微看见有些技能的人，必定要模仿学习他的本领，模仿不成，又要肆意开骂：“苛二乌三吚唎。”天性又喜欢多疑，对于人们窃窃耳语总会小心提防。可是又怕人们高谈阔论或大声疾呼，每次一听响亮的声音，必然要恼怒大骂：“饭平饭平师二吚唎。”盐运使特别怜惜小人，于是就阻止家人对着小人说话，如果开口说话，盐运使一定会代小人骂家人，用这取悦小人，因而小人更加蛮横。
盐运使叮嘱工艺像生店给小人制作小纱帽、玉带袍笏、小兜鍪、铠甲兵器等，小人都争相穿上，跪拜叩头像官员样子，或大摇大摆装出学者样子。渐渐指导小人学着串戏，小人天性又非常灵巧伶俐，还没几天就能演出五六折戏，只是舞蹈虽刚刚合格而歌唱却辨不出是什么腔调。有时盐运使又给小人铜钱，拿到铜钱就爱不释手，口咬脚踩但铜钱不能碎裂，就又装作嘤嘤啼哭的样子。仆人偶尔吵骂开玩笑又互相扑打的，小人看到后，手舞足蹈又乐不可支。由此知道小人喜欢人们打打闹闹。小人有时情绪悲伤思念岛屿，盐运使总要命令仆人扑打吵骂，来博取小人欢心。
盐运使对小人们非常贴心但又替小人制作小匾额悬挂在木盒上，匾额上写“罔谈彼短”或写“犹傲蟭螟”。亲自制作小楹联悬挂盒门上，楹联道：“槐帮能游，芥舟可渡；壶天不远，橘隐非诬。”小人见了，也知道向盐运使鞠躬致谢。一年多后，盐运使深知小人已很温顺，就为他们打开盒面玻璃门，小人有时会跳出盒子而在文房四宝周围游玩。
有一天盐运使有要事到别处去一下，红顶花翎帽被遗忘在书桌上。小人看到后觉得很高兴，摘下帽顶，然后两人把帽子当球踢来踢去。接着又摘下孔雀翎毛，两人扛着，打扫书桌上的灰尘像用扫帚一样。正嬉笑间，盐运使回来了，小人争着抢着丢弃红顶花翎而逃。红顶坠在地下被摔碎，花翎落入火盆烧尽，可是盐运使非但不生气，反而看着他们哈哈大笑。
第二天有同年的儿子衣冠楚楚前来拜望盐运使，偶尔来到书房游览，正撞见小人在书桌上又蹦又跳又叫。他不知这是什么东西，大为惊讶，不觉狂呼道：“怪哉！”再看看小人如同人一样的动作，两个已经当场惊吓而死，其余都赶紧潜藏入盒中，恶狠狠骂道：“娇三尼二师二吚唎。”盐运使从此深深记恨这个同年的儿子，不再理睬他。