Real Scenes with Spike and Flow (RSSF)

Real Scenes with Spike and Flow (RSSF)是一个用于训练和评估基于脉冲的光流的数据集。该数据集基于Slow Flow数据集生成，使用高速摄像机捕捉。训练集包含31个场景，测试集包含10个场景。训练集有三种不同分辨率和脉冲帧数的场景，总计超过9.6k个流场和193k+脉冲帧。评估数据集包含11个场景，每个场景选择前200个流场。为标准化评估数据，使用中心裁剪使每个脉冲帧和流场的宽度为1024，高度超过768的图像高度为768。评估数据集的流场和脉冲帧总数分别为2.2k和44.22k。

The Real Scenes with Spike and Flow (RSSF) dataset is designed for training and evaluating spike-based optical flow algorithms. Derived from the Slow Flow dataset, it is captured using high-speed cameras. The training set comprises 31 scenes, while the test set includes 10 scenes. The training set features scenes in three different resolutions and spike frame counts, totaling over 9.6k flow fields and 193k+ spike frames. The evaluation dataset consists of 11 scenes, with the first 200 flow fields selected from each scene. To standardize the evaluation data, a center crop is applied to ensure each spike frame and flow field has a width of 1024, with image heights exceeding 768 being cropped to 768. The total number of flow fields and spike frames in the evaluation dataset are 2.2k and 44.22k, respectively.

原始信息汇总

数据集概述

数据集名称

Real Scenes with Spike and Flow (RSSF)

数据集用途

用于训练和评估基于脉冲的光流。

数据集来源

基于Slow Flow dataset，由高速摄像机捕捉的数据生成。

数据集组成

• 训练集：包含31个场景，分为三种不同分辨率和脉冲帧数的场景。训练集总计有9.6k+流场和193k+脉冲帧。
• 测试集：包含10个场景，每个场景选择前200个流场。测试集总计有2.2k流场和44.22k脉冲帧。

数据集特点

• 训练集和测试集的图像高度超过768的，均被裁剪至768像素；宽度统一为1024像素。
• 流场数量统计仅考虑$dt=20$的情况，$dt=40$和$dt=60$的流场数量与$dt=20$相似。

数据集下载

链接：Baidu NetDisk 密码：2728

数据集部署

• 数据集仅发布脉冲和图像，流场需本地生成。
• 环境要求：Python 3.9，PyTorch 1.10.1+cu113。
• 流场生成步骤：使用提供的generate_flow.py脚本，根据不同的时间间隔（20, 40, 60）生成流场。

引用信息

@inproceedings{zhao2022learning, title={Learninng optical flow from continuous spike streams}, author={Zhao, Rui and Xiong, Ruiqin and Zhao, Jing and Yu, Zhaofei and Fan, Xiaopeng and Huang, Tiejun}, booktitle={Proceedings of the Annual Conference on Neural Information Processing Systems (NeurIPS)}, year={2022} }

搜集汇总

数据集介绍

构建方式

Real Scenes with Spike and Flow (RSSF) 数据集的构建基于Slow Flow数据集，该数据集通过高速摄像机捕捉真实场景的光流信息。RSSF数据集包含31个训练场景和10个测试场景，训练场景分为三种不同的分辨率和帧数。训练集共包含9.6k+光流场和193k+脉冲帧，测试集则从每个场景中选取前200个光流场，并通过中心裁剪将脉冲帧和光流场的宽度标准化为1024，高度不超过768。数据集的光流场和脉冲帧分别针对$dt=20$、$dt=40$和$dt=60$三种时间间隔生成。

特点

RSSF数据集的特点在于其专注于脉冲流与光流的结合，提供了丰富的训练和测试场景。训练集包含多种分辨率和帧数的场景，测试集则通过标准化处理确保数据一致性。数据集的光流场和脉冲帧数量庞大，覆盖了不同时间间隔的生成需求，为研究脉冲流与光流的关系提供了坚实的基础。此外，数据集的构建方式确保了其与Slow Flow数据集的高度兼容性，便于研究者进行对比实验。

使用方法

RSSF数据集的使用方法包括下载数据集、配置环境并生成光流场。用户需通过Baidu NetDisk下载数据集，并在本地配置Python 3.9环境及PyTorch 1.10.1+cu113等依赖库。数据集仅提供脉冲帧和图像，光流场需通过提供的代码基于图像生成。用户可通过运行generate_flow.py脚本，设置不同的时间间隔（如20、40、60）生成对应的光流场。该数据集适用于训练和评估基于脉冲流的光流算法，为相关研究提供了便捷的实验平台。

背景与挑战

背景概述

Real Scenes with Spike and Flow (RSSF) 数据集由北京大学的研究团队于2022年提出，并在NeurIPS 2022会议上发布。该数据集旨在解决基于脉冲流的视觉光流估计问题，为深度学习模型提供高质量的脉冲流数据。RSSF基于Slow Flow数据集生成，包含31个训练场景和10个测试场景，总计提供了9.6k+光流场和193k+脉冲帧。通过标准化处理，RSSF为光流估计领域的研究提供了重要的基准数据，推动了脉冲流与光流结合的研究进展。

当前挑战

RSSF数据集在构建过程中面临多重挑战。首先，脉冲流数据的生成需要高精度的时间同步和复杂的计算，以确保脉冲帧与光流场的一致性。其次，数据集的存储与传输问题尤为突出，由于光流场数据量庞大，团队仅发布了脉冲帧和图像数据，光流场需通过本地计算生成。此外，RSSF在解决光流估计问题时，需应对脉冲流数据的高噪声和低分辨率特性，这对模型的鲁棒性和计算效率提出了更高要求。这些挑战不仅体现在数据集的构建过程中，也深刻影响了相关领域的研究方向。

常用场景

经典使用场景

Real Scenes with Spike and Flow (RSSF) 数据集主要用于训练和评估基于脉冲的光流估计模型。该数据集通过高速摄像机捕捉的真实场景数据生成，包含31个训练场景和10个测试场景，涵盖了不同分辨率和脉冲帧数的场景。研究人员可以利用该数据集进行光流算法的开发和优化，特别是在处理连续脉冲流数据时，能够有效提升模型的性能。

实际应用

在实际应用中，RSSF 数据集可广泛应用于自动驾驶、机器人导航和视频监控等领域。例如，在自动驾驶中，脉冲相机能够捕捉高速运动物体的细节，结合RSSF数据集训练的光流模型，可以实时估计车辆周围物体的运动轨迹，从而提高驾驶安全性。此外，该数据集还可用于开发高效的视频压缩算法，减少数据传输和存储的开销。

衍生相关工作

RSSF 数据集的发布催生了一系列相关研究工作，特别是在脉冲相机与光流估计的交叉领域。基于该数据集的研究成果已在NeurIPS 2022等顶级会议上发表，推动了脉冲视觉技术的发展。此外，RSSF还促进了与其他光流数据集的融合研究，如Slow Flow数据集，进一步拓展了脉冲相机在计算机视觉中的应用场景。