交州有个姓徐的人，常年漂洋过海做生意。有一次，他的船在海中行驶时，忽然被一阵狂风卷走了。等他睁开眼睛一看，自己已到了一个非常陌生的深山密林里。这是什么地方？有人在这里生活吗？他希望这里有人居住，因为这样他就可以找到朋友，可以求得别人的帮助。于是，他用缆绳把船系牢，背着剩下的一点干粮以及一些日用品上了岸。
他蹒跚着进了山。刚进山，便看见两边悬崖上有许多洞口，它们远望像蜂窝一样，而且，洞里隐隐约约有人的声音。他怀着一种忐忑不安的心情往山上走。到了一个洞口，他站在洞外向里偷看，不看不知道，一看吓一跳：原来，洞里有两个夜叉，他们的牙齿像刀戟，眼睛好像灯笼。他们正用手爪撕鹿肉吃。见此情景，徐吓得魂不附体，慌忙往山下跑。但为时已晚，因为夜叉已经发现了他，并轻而易举地把他抓进洞里。徐听这两个夜叉说话，就像听鸟鲁的叫声，一点儿也听不懂。两个夜叉抢着撕破他的衣服，看起来是要把他当食物吃掉。徐吓得浑身颤抖，但脑子还算清醒，他迅速拿出袋中的干粮和牛肉脯，递给他们吃。想不到，两个夜叉吃得津律有味。吃完那些东西，他们又来翻徐的袋子，徐摇摇手，表示早已没有了。夜叉很生气，又把徐抓住。徐哀求说：“放开我，放开我吧。我的船上有锅灶，可以烹煮东西吃。”但夜叉根本听不懂他的话，仍然发怒。徐又给他们打手势，夜叉好像明白了他的意思，便跟着他一起到船上，把炊具拿进洞穴。有了炊具，徐又是找柴薪，又是烧火。他将夜叉没有吃完的鹿肉放进锅里煮，煮熟以后送给夜叉吃。夜叉从来没有吃过熟食，第一次吃煮熟了的食物，感觉味道不错，显出高兴的样子。徐暂时逃脱了死亡的威胁，心情也比刚见到夜叉时好多了。
到了傍晚，夜叉用大石头把洞门堵住，徐猜测他们的用意是防止他逃跑。还带着恐惧感的徐，只好瑟缩着身子在远离夜叉的地方打盹。天亮后，夜叉要出洞门觅食。他们出门后又拿石头把洞门堵死了。但过了不多时，他们带回一只鹿给徐，徐剥掉鹿皮，在洞的深处取来清水，把鹿肉分成几份煮了。这时，又来了几个夜叉，他们一起把煮熟的鹿肉吃得精光。有个夜叉用手指指锅，似乎是说这玩意儿太小了。果然，没过几天，就有一个夜叉背来一口大锅，看样子，那口锅是人常用的。于是，夜叉们有的弄来狼，有的弄来獐，有的弄来鹿，他们自己会煮这些动物的肉，煮熟后，喊徐一起吃。
在洞穴里住了几天，徐和夜叉们渐渐熟悉起来。夜叉们出洞时也不再堵洞门了。慢慢地，他和他们像一家人一样聚在一起。徐对他们发出的声音所表达的意思也多少明白了些，他学他们的发音，说夜叉语。夜叉好像更喜欢徐，他们带来一个母夜叉给徐作妻子。徐开始很害怕，后来竟相处得很好。母夜叉对徐很照顾，每次出去时都留些肉给徐吃。
忽然有一天，夜叉们起得很早。他们的颈上都挂着一串明珠，轮流出门，好像在等待贵客的来临。夜叉们吩咐徐多煮些肉。徐问母夜又是怎么回事，她说：“今天是天寿节啊。”她出去对别的夜叉说：“徐郎没有骨突子。”于是，夜叉们各自摘下五颗，交给母夜叉，母夜叉自己解下十颗，共成五十颗，以野麻作绳子，穿起来挂在徐的颈上。经商半辈子的徐一看，这些珠子一颗就要值一百几十两银子，绝对是宝物。
一会儿，夜叉们都出了洞穴，徐煮完肉，母夜叉进洞叫他也出去迎接天王。徐跟母夜叉来到一个有几亩宽的大洞穴，看见洞穴中间有块石头光滑得像桌子一样，四周围有石墩，主席之位是用豹皮包裹的，其余的都是鹿皮包裹的。二三十位夜叉，依次排列入座。一会儿，突然刮起大风，夜叉们慌忙出洞迎接，来者是庞然大物，模样跟夜叉差不多。他进洞后，坐在主席位置上，环视四周。夜叉们也都跟着进了洞，分成东西两排。他们全仰着头，双手交叉成十字。大夜叉清点了一下夜叉数，问道：“卧眉山的全在这儿吗？”
夜叉们哄闹着答应了。大夜叉看看徐，发现他不是夜叉，便问：“这个人是从哪里来的？”夜叉们将徐来洞穴的经历讲了一遍，并称赞他善于烹调。这时，便有两三个夜叉，跑去拿来熟肉放在桌几上。大夜叉用手抓着吃了个饱，他称赞熟肉味道香美，并叫以后经常供给他。他看徐的骨突子短，便从自己的颈上取下珠串，解下十颗给他。大夜叉给的珠子有手指头那么大，而且非常圆。徐用夜叉语表示感谢。大夜叉这才离去。
徐在山洞里同夜叉们一起生活了四年多。这时，母夜叉已替他生下两男一女。这三个孩子都跟正常人长得一模一样，一点也不像是母夜叉生的。夜叉们都很喜欢这些孩子，常来跟孩子们戏耍。
时光飞逝。转眼间又过去三年。徐的几个孩子都会走路了。徐教他们说人话，他们咿咿呀呀，慢慢学会了一些。这些孩子虽然都还小，但走山路像走平地一样，一点也不吃力。他们跟徐感情很深。
有一天，母夜叉带着一子一女外出，半天没有回来。徐思念故乡心切，便带着儿子到海岸边，发现他的那条船还在，他就和儿子商量一同返回故乡去。儿子要去告诉母亲，被徐阻拦了。于是，父子俩乘船离开了这片深山密林。不久就重新返回交州。徐回到家里，才知道妻子以为他已葬身大海，便改嫁他人了。徐就和儿子生活在一起。他拿出两颗珍珠，卖了很多钱，他们用这些钱添置家产和什物，家里的生活很富裕。徐给儿子取名为彪。徐彪长到十四五岁时，能举几千斤重的东西，力大过人。交州军帅认为他是个奇人，便让他做了千总。不久，徐彪因为出征有功，十八岁就被提拔为副将。
大约在这个时候，有个商人过海时也遇到大风，他的船也被吹到卧眉山。这个商人登岸时，发现岸边有一个少年。那少年看见他大吃一惊。少年忙问商人从哪里来，商人说自己是中国人。问籍贯在哪里，商人说在交州。于是，少年把他拉到幽谷的一个小石洞中，叮嘱他不要外出。商人一看，洞外满是荆棘，更不见有人烟。他正在纳闷，那少年已返回洞穴，并带来一些鹿肉给他吃。少年说：“我父亲也是交州人。”商人这才知道这少年原是徐某的儿子。商人在外地见过徐，便对少年说：“你父亲是我的老朋友，现在他的一个儿子已做了副将。”少年不懂什么是副将，商人解释说：“这是中国的官员。”少年又问：“什么是官？”商人只好又解释一番：“出门时有车马，住的是好房子，在上面喊一声，下面就有上百个人呼应，别人见到他，只敢侧目而看，侧身而立，这样的人就叫官。”听商人这么一说，少年羡慕不已。
商人对他说：“既然你父亲在交州，你怎么还老是留在这里不走？”少年便把夜叉国的情况讲给商人听。少年有些无奈地说：“我也常常想找父亲去，但母亲不是中国人，言语相貌都不相同。更何况要是被这里的同伴发觉，必死无疑。因此，我有些犹豫不决。”少年出洞时，对商人说：“等刮北风时，我为你送行。请你到我父亲和哥哥那里，把我的情况告诉他们。”
商人藏在洞穴里快一年了，少年一直在关照他，所以他没有受到伤害。他常常在荆棘丛中向外探望，见山中常有夜叉来往，特别害怕，只好呆在洞里不敢外出。直到有一天，北风呼啸，那少年很快赶来了，他带着商人跑向海边，路上一再叮嘱：“我的话你可别忘了。”商人答应了。
商人经过一番颠沛，总算又回到中国。到了交州以后，他立刻去找徐彪副将。商人将自己这半年的所见所闻全部告诉了徐家父子。徐彪听了以后非常悲伤，要去寻找母亲和弟弟。但父亲不赞成，父亲担心出海会有各种凶险，容易出事故。徐彪捶胸顿足，痛哭不已。父亲劝阻不住，便报告了交州军帅。军帅让徐彪带两名士兵一同航行。
徐彪的船也不顺利，在海上颠簸了半个月，还没上岸。更糟糕的是，他们迷失了方向，无法分辨东南西北。忽然，海浪滔天，船被掀翻，徐彪和两名士兵一同掉进大海。他随波沉浮，过了好长时间，他感觉像是被什么动物拉去，到了一个有房屋的地方。定眼一看，旁边站着一个夜叉模样的动物。
徐彪说起夜叉语。那夜叉一惊，忙问徐彪要去什么地方，徐彪说要去卧眉山。夜叉高兴地说：“卧眉是我的故乡，冒犯你了。你偏离航道已有八千里之远。这是去毒龙国的，不是去卧眉的航道。”于是，夜叉找来船送徐彪去卧眉山。夜叉在水中推船，船如飞箭一样迅速前行，转眼之间已走千里。一个晚上就到达卧眉北岸。只见一个少年在水边观望。徐彪知道山中没有人类，怀疑是弟弟。走近一看，果真是弟弟。两人相见，握手大哭。徐彪想带弟弟一起回家，弟弟却跑去接母亲和妹妹。母亲见到徐彪也高兴得哭起来。她听儿子说要接她去交州，担心以后被人欺凌，但徐彪说：“我在中国是有地位的人，别人不敢欺凌我们的。”于是，母夜叉和三个孩子一起前往中国。在海上航行三天后，终于到达交州海岸。岸上的人见到母夜叉长得怪模怪样，都吓得跑走了。
母夜叉见到徐某时，说了不少怨气话。她恨徐某当年离开卧眉时不事先同她商量。徐某连忙谢罪。家里的仆人拜见主母时，都吓得战战兢兢的。为了更好地生存下去，徐彪劝母亲学汉语，学汉人穿衣吃饭。结果，母女俩都穿上了女子衣服。几个月后，他们能说一些简单的汉语。徐彪的弟弟妹妹也渐渐白净起来。他们也都有了自己的名字，弟弟叫徐豹，妹妹叫徐夜儿。徐彪后悔自己没有读过书，就请人教弟弟读书。徐豹很聪明，经史子集读一遍就懂了。后来，他考中武进士。夜儿能拉强弓，只是因种类不同，无人向她求婚。后来，她嫁给了徐彪的下属袁守备。