eStonefish-scenes

eStonefish-scenes是一个基于Stonefish模拟器生成的合成事件光学流数据集，专门为水下环境设计。数据集包含事件流、灰度图像和相应的真实光学流。该数据集由eWiz框架提供的优化格式存储，以便于高效的数据存储、访问和处理。数据集还包含静态和动态元素，使得训练算法能够通过捕获背景稳定性和运动驱动变化来学习鲁棒的特性表示。

eStonefish-scenes is a synthetic event-based optical flow dataset generated using the Stonefish simulator, specifically designed for underwater environments. This dataset includes event streams, grayscale images, and the corresponding ground-truth optical flow. It is stored in an optimized format provided by the eWiz framework to facilitate efficient data storage, access, and processing. Additionally, the dataset contains both static and dynamic elements, enabling training algorithms to learn robust feature representations by capturing background stability and motion-driven changes.

搜集汇总

数据集介绍

构建方式

eStonefish-scenes数据集通过Stonefish模拟器构建，专门针对水下环境的光流预测任务。该数据集采用模块化数据生成流程，包括场景生成器Stonefish-scenegen和鱼群模拟器Stonefish-boids，能够创建珊瑚丰富的海底环境并模拟鱼群的动态行为。数据采集通过搭载事件相机、灰度相机和光流传感器的ROV完成，覆盖静态和动态场景，确保数据的多样性和真实性。

特点

eStonefish-scenes数据集具有高时空分辨率的事件流数据，结合同步的灰度图像和精确的光流真值，适用于复杂水下场景的分析。其独特之处在于模拟了真实水下环境的光学特性（如光吸收和散射），并包含动态元素（如鱼群行为），为事件相机在水下机器人中的应用提供了宝贵资源。数据集还提供了多种传感器配置（前视和下视），以适应不同任务需求。

使用方法

该数据集通过eWiz库提供高效的数据处理工具，支持事件数据的加载、增强、编码和可视化。用户可利用PyTorch或Tonic兼容的接口进行神经网络训练，特别适合SNN和CNN模型的光流预测任务。数据集的事件流可分割为事件体积（event volumes），每个体积包含相邻灰度帧之间的所有事件，便于时间序列分析。此外，eWiz还提供了多种损失函数和评估指标（如AEE和AAE），方便模型性能验证。

背景与挑战

背景概述

eStonefish-scenes数据集由西班牙赫罗纳大学计算机视觉与机器人研究所（ViCOROB）的研究团队于2025年推出，旨在解决水下环境中基于事件的视觉与光流预测的研究空白。该数据集基于Stonefish模拟器构建，通过合成方法生成了包含珊瑚礁生态系统和鱼群动态场景的高保真事件流数据，为自主水下航行器（AUV）的视觉导航与避障任务提供了关键研究资源。其创新性在于首次将事件相机数据与水下复杂环境模拟相结合，弥补了传统无人机采集数据在多样性、可扩展性及水下适用性方面的不足，推动了脉冲神经网络（SNNs）在水下机器人领域的应用发展。

当前挑战

该数据集面临的核心挑战体现在两个维度：领域问题层面，水下光流预测需克服低光照、水体浑浊度和光散射等物理干扰，而事件相机异步触发的特性虽能规避运动模糊，但稀疏事件流与连续光流场间的映射关系建模仍存在算法瓶颈；数据构建层面，珊瑚礁场景的物理仿真需精确模拟水体光学特性与生物动力学行为，鱼群运动模式的可控生成、传感器时钟同步误差的消除，以及合成数据与真实水下事件的域适应问题均为技术难点。此外，现有评估指标（如AEE）对事件数据稀疏性的适应性不足，也制约了模型性能的准确衡量。

常用场景

经典使用场景

在海洋机器人学和计算机视觉领域，eStonefish-scenes数据集为水下光流预测任务提供了重要的研究基础。该数据集通过合成方法模拟了水下动态场景，包括珊瑚礁环境和鱼群运动，为事件相机的光流预测算法提供了丰富的训练和测试素材。其经典使用场景包括水下自主机器人（AUV）的视觉里程计和障碍物避障任务，这些任务依赖于对水下环境中动态物体的精确运动估计。

解决学术问题

eStonefish-scenes数据集解决了水下环境中事件相机数据稀缺的问题，填补了现有光流预测数据集的空白。通过提供精确的合成数据，该数据集支持了事件相机与脉冲神经网络（SNNs）的结合研究，解决了传统卷积神经网络（CNNs）在处理异步事件数据时的局限性。此外，数据集还解决了水下环境因光线吸收和散射导致的数据采集困难问题，为水下机器人视觉系统的开发提供了可靠的数据支持。

衍生相关工作

eStonefish-scenes数据集衍生了一系列相关研究，包括基于事件相机的光流预测算法优化和水下机器人视觉系统的改进。例如，研究人员利用该数据集开发了新的脉冲神经网络架构，提高了光流预测的精度和实时性。此外，数据集还催生了Stonefish-scenegen和Stonefish-boids等工具，进一步扩展了水下场景生成和动态物体模拟的能力。这些工作共同推动了事件相机在水下机器人领域的应用。