家人们答到：“那么，没有办法。无论是怎样难得的宝物，我们遵命去找求吧。”
大纳言看看他们的神情，笑道：“这才对了。我大伴家里的家人，是天下闻名的，难道会违背我主人的命令吗？”
于是家人们出门去寻找龙头上的玉。大纳言把家中所有的绢、锦和金子都取出来，交给这些家人，作为他们的路费。又对他们说：“你们出门之后，我就吃斋念佛，直到你们回来。如果取不到这玉，不准你们回到我这里来！”
家人们听了主人的嘱咐，一个个懒洋洋地出门去了。他们都想：主人说，如果取不到龙头上的珠子，不准再回到这里来。但这东西，根本是取不到的。他们各自随心所欲地东分西散。
众家人都咒骂主人，说他好奇。他们把主人给他们的东西随意分配一下。有的拿了东西回家乡去了。有的随心所欲地到别处去了。他们都诽谤大纳言，说道：不管是爹娘还是主人，这样胡说八道，叫我们没有办法。
大纳言全然不知道这情况。他说：“给辉夜姬住的普通的房屋太不象样。”连忙建造起特殊的房屋来：室内四壁涂漆，嵌上景泰窑装饰，施以各种色彩。屋顶上也染成五彩，挂上各种美丽的带子。每一个房间里都张着美丽无比的锦绣的壁衣。而且把他本来的老婆和小老婆都赶走。无论何事，他都不爱，一天到晚为了准备迎接辉夜姬而忙碌。
那些被派遣出去取龙头上的玉的家人们，不管大纳言朝朝夜夜地等待，过了年底，到了明年，一直音信全无。大纳言不胜焦灼，便悄悄地带了两个随身侍从，微行来到难波港。看见一个渔夫，便问他：
“大伴大纳言家的家人们乘了船去杀龙，取它头上的玉，这新闻你听到过吗？”
渔夫笑道：“哈哈，你这话真奇怪！首先，愿意为了做这件蠢事而放船出去的船夫，在这里一个没有。”
大纳言听了这话，心中想到：“这些船户都是没志气的。他们不知道我大伴一家的强大，所以讲这种胆怯的话。
”又想：“我们的弓多么有力！只要有龙，一箭便可把它射死，取它头上的玉，这是毫无问题的。这些家人不决不断，直到现在还不回来，我在这里老等。”
可是等了许久不见家人，他就雇了一只船，向海中到处巡游，渐行渐远，不觉来到了筑紫的海边。
这时候，不知怎的，发起大风暴来，天昏地黑，那只船被风吹来吹去，吹向什么地方，完全不得而知。风越来越大，把船吹到了海的中央。
大浪猛烈地冲击船身，船被波浪包围了。雷声隆隆，电光闪闪。好个大纳言，到此也束手无策了。他叹道：“唉！我平生从来不曾吃过这种苦头。不知道到底怎么样啊！”
那个船户哭着说道：“我长年驾着这船来来去去，从来不曾碰到这种可怕的情况。即使幸而船不沉没，头上的雷电也会打死我吧！即使幸而神佛保佑，船也不沉，人也不死，但结果我这船终将被吹到南海之中。唉！我想不到碰着了这个古怪的雇客，看来我的命运是很悲惨的了！”
大纳言听了他的话，说道：“乘船的时候，船户的话是最可靠的。你为什么说出这种不可靠的话来呢？”说着，他已经不知不觉地口中吐出了青水。
船户说：“我又不是神佛，有什么办法呢？风吹浪打，我是长年以来习惯的。但这雷电交加，一定是你想杀龙的原故。这暴风雨一定是龙神带来的。你赶快祈祷吧！”
大纳言听了这话，忽然说道：“啊，对啊，你说的是。”便大声祈祷：“南无船灵大明菩萨！请听禀告：小人愚昧无知，胆大妄为，竟敢图谋杀害神龙，实属罪大恶极！自今以后，不敢损害神体一毛，务请饶恕，不胜惶恐之至。”
他大声念这祈祷，有时起立，有时坐下，有时哭泣，念了千百遍。也许还真是这个原因，此时，雷声居然渐渐地停息了。天色渐渐明亮起来，只是风还是猛烈地吹着。
船户说道：“啊，如此看来，刚才的风暴正是龙神菩萨来的。现在的风，方向很好，是顺风，不是逆风。我们可以乘这风回家乡去了。”
但大纳言已经吓破了胆，无论如何都不相信船户的话。
这风继续吹了三四天，似乎可把船吹到原来的地方去了。岂知向岸上望望，这里却是播磨国明石地方的海岸。
但大纳言总以为到了南海的海岸，疲劳之极，躺倒在船里了。他带来的两个侍从便上岸去报告当地的衙门。
衙门里特地派人员来慰问。然而大纳言不能起身，直挺挺躺在船底里。无可奈何，只得在海岸的松树底下铺一条席子，扶起来躺在席子上。
到这时候，大纳言方才知道这里并不是南海的岛。他好不容易才坐起身来。这个人平常有些伤风，就会神色大变。这时候竟变成腹部膨胀，眼睛像两颗李子一般肿起。
那些派来的人员看到这样子的的大纳言也都忍不住发笑。毕竟因为肿胀而变得圆圆滚滚的样子，真心有些滑稽不堪。
大纳言连忙叫衙门里的人替他备