TOFFE dataset

TOFFE数据集是由普渡大学埃尔莫尔家族电气与计算机工程学院开发的一个合成事件视觉数据集，旨在支持高速运动场景下的物体检测与跟踪任务。该数据集在Gazebo模拟器中生成，包含多种传感器数据，如帧图像、深度信息、事件数据和6自由度姿态信息，采样率高达20000次/秒。数据集提供了精确的物体姿态和速度地面真值，适用于训练和评估高速运动场景下的算法。TOFFE数据集通过模拟不同速度和轨迹的物体运动，为研究提供了丰富的高动态范围数据，特别适合用于边缘计算和低功耗场景下的实时处理任务。The TOFFE dataset is a synthetic event-based vision dataset developed by the Elmore Family School of Electrical and Computer Engineering at Purdue University, designed to support object detection and tracking tasks in high-speed motion scenarios. Generated using the Gazebo simulator, this dataset includes multiple types of sensor data such as frame images, depth information, event data, and 6-degree-of-freedom (6DoF) pose information, with a sampling rate of up to 20,000 samples per second. The dataset provides accurate ground truth for object pose and velocity, which is suitable for training and evaluating algorithms for high-speed motion scenarios. By simulating object motions with varying speeds and trajectories, the TOFFE dataset offers rich high dynamic range data for research, and is particularly well-suited for real-time processing tasks in edge computing and low-power scenarios.

搜集汇总

数据集介绍

构建方式

TOFFE数据集的构建方法采用了基于事件的合成数据生成方式。通过在Gazebo模拟器中，利用配备有VI传感器、深度相机、DAVIS事件相机和姿态记录器的传感器套件，记录物体在30Hz的帧率和20KHz的事件率下的运动轨迹。数据集包含了不同形状（方形、圆形、菱形和星形）的物体以不同速度沿着参数化的轨迹运动。事件数据被离散化并映射到有限数量的时间窗口（事件箱），作为SNN的输入。通过这种方式，数据集能够提供高速运动场景下的准确地面实物体位和速度信息，满足边缘计算系统的实时需求。

特点

TOFFE数据集的特点在于其高速、低能耗的特性。它专为事件相机设计，能够捕捉高时间分辨率下的视觉信息变化，从而减少运动模糊并扩展动态范围。数据集包含了丰富的物体位姿和速度信息，为事件相机在高速场景下的对象检测和跟踪任务提供了有效的训练数据。此外，数据集的构建考虑了不同的运动轨迹和速度范围，有助于提升算法对物体运动的识别和预测能力。

使用方法

TOFFE数据集的使用方法涉及将事件数据转换为离散的事件箱，并依次输入到SNN中进行处理。SNN负责根据速度分离事件，并输出对应速度范围内的物体事件。随后，这些事件被输入到ANN中，以估计物体的位姿和运动方向。在推断过程中，从最高速度箱到最低速度箱，依次处理事件，并通过形态学操作生成输出掩码，以去除已处理的事件。最后，将所有速度箱的输出合并，以获得包含所有物体及其速度、位姿和运动方向的复合表示。TOFFE数据集适合用于训练和评估事件相机在高速场景下的对象检测和跟踪算法。

背景与挑战

背景概述

在机器人系统中实现完全自主导航的关键感知任务之一是目标检测与跟踪。随着人工智能技术的不断发展，机器人系统越来越需要执行复杂的高速操作，同时资源有限，这对底层算法和硬件提出了严格的限制。传统的基于帧的摄像头由于其丰富的空间信息和简化的同步感知能力而被用于视觉感知。然而，在帧之间获取详细的信息会导致高能耗，并且可能并非必需。此外，它们在高速运动场景中的低时间分辨率也使得它们无效。事件相机通过仅在异常高时间分辨率和低功耗下捕获强度水平的变化，为这一问题提供了生物启发式的解决方案，使其成为高速运动场景的理想选择。然而，它们的异步和稀疏输出不适合传统的深度学习方法。在这项工作中，我们提出了TOFFE，这是一个轻量级的混合框架，用于执行基于事件的目标运动估计（包括姿态、方向和速度估计），称为目标流。TOFFE结合了生物启发的脉冲神经网络（SNNs）和传统的模拟神经网络（ANNs），以高效地处理高时间分辨率的事件，同时易于训练。此外，我们提出了一个新的基于事件的合成数据集，涉及高速目标运动，用于训练TOFFE。我们的实验结果表明，与以前的基于事件的目标检测基线相比，TOFFE在边缘GPU（Jetson TX2）/混合硬件（Loihi-2和Jetson TX2）上实现了5.7×/8.3×的能耗降低和4.6×/5.8×的延迟降低。

当前挑战

TOFFE数据集面临的挑战包括：1）解决高速运动场景下的目标检测与跟踪问题；2）构建过程中遇到的挑战，如事件相机的异步和稀疏输出不适合传统的深度学习方法，以及脉冲神经网络（SNNs）的难以训练问题。为了解决这些问题，TOFFE提出了一个轻量级的混合SNN-ANN算法，用于估计目标在视野中的姿态、方向和速度，称为目标流。同时，为了训练TOFFE，生成并提供了一个新的高速合成数据集。实验结果表明，TOFFE在准确性和效率方面取得了显著的改进，使其成为高速、低能耗自主导航系统的理想选择。

常用场景

经典使用场景

TOFFE数据集被广泛应用于机器人系统中的目标检测和跟踪任务，特别是在需要高速度和低能耗的情况下。该数据集提供了丰富的时空信息，使得TOFFE框架能够高效地处理事件数据，从而实现对目标的姿态、运动方向和速度的准确估计。此外，TOFFE数据集还包含了高速运动目标的场景，这使得它成为训练和测试高速度场景下的目标检测和跟踪算法的理想选择。

解决学术问题

TOFFE数据集解决了传统基于帧的相机在高速度运动场景下的低时间分辨率和能耗高的问题。通过使用基于事件的相机，TOFFE数据集提供了高时间分辨率的事件流，从而能够更准确地捕捉到目标的运动信息。此外，TOFFE数据集还解决了基于事件的相机数据与传统的深度学习方法的兼容性问题，通过结合生物启发的脉冲神经网络（SNN）和传统的模拟神经网络（ANN），TOFFE框架能够有效地处理事件数据，并实现高速度和低能耗的目标检测和跟踪。

衍生相关工作

TOFFE数据集的提出和TOFFE框架的设计，为基于事件的视觉感知算法的研究和应用开辟了新的方向。基于TOFFE数据集，研究人员可以进一步探索基于事件的相机在机器人系统中的应用，并开发出更加高效、更加准确的视觉感知算法。此外，TOFFE框架的设计也为脉冲神经网络和模拟神经网络的研究提供了新的思路，有助于推动生物启发的神经网络的发展。