话说源义经遭到娓原景时的诬陷，被哥哥源赖朝追赶。他计划逃往九州，然后再从摄州的大物之浦(今日本兵库县尼崎市)乘船逃走。
据说，当时天空突然阴云密布，海面上波涛汹涌，他乘坐的船进退两难，即将倾覆。跟随他的家臣武藏坊弁庆认为这是记恨他们的平家的怨灵在作祟，于是就站在船舷上虔心念佛。不知过了多久，平家的怨灵退去，义经等人也得救了。
这就是著名的平家的怨灵，这个故事已经成为谣曲《船弁庆》中的一节。
平家的怨灵一直流传到现在。据说，如果有人渡关门海峡时，谈论平家一族的事情，海上就会发生怪事。
另外，还有这样一个故事，说是有一群武士不小心谈论了平家的事情，结果就看到了海面上漂浮着无数苍白的女人头。
至今在坛之浦附近的赤间神宫依然流传着无耳芳一的传说，还有平家的怨灵附到螃蟹身上后变成的平家蟹等等。
总之，关于平家的传说，流传至今的仍有很多。
