PRED18

PRED18数据集是由瑞士苏黎世大学和苏黎世联邦理工学院的神经信息学研究所开发，用于研究机器视觉系统在捕食者-猎物机器人追逐场景中的应用。该数据集包含由DAVIS图像传感器捕获的传统帧和基于事件的数据，记录了两个移动的Summit XL机器人在机器人竞技场中以捕食者-猎物方式相互追逐的情况。数据集中的地面实况（GT）位置是通过手动逐帧标记的，用于训练卷积神经网络（CNN）以识别猎物机器人的位置和大小。PRED18数据集旨在解决机器人视觉感知和实时决策的问题，特别是在动态环境中的目标追踪和避障。

The PRED18 dataset was developed by the Neuroinformatics Institute of the University of Zurich and ETH Zurich, Switzerland, to study the application of machine vision systems in predator-prey robot chasing scenarios. This dataset contains conventional frame-based data and event-based data captured by DAVIS image sensors, and documents the mutual chasing interactions of two mobile Summit XL robots operating in a predator-prey manner within a dedicated robotic arena. The ground truth (GT) positions in the dataset were manually annotated frame-by-frame, which are utilized to train convolutional neural networks (CNNs) for identifying the position and size of the prey robot. The PRED18 dataset is intended to address challenges in robotic visual perception and real-time decision-making, specifically target tracking and obstacle avoidance in dynamic environments.

搜集汇总

数据集介绍

构建方式

PRED18数据集的构建是在一个捕食者-猎物机器人追逐的场景中进行的。该数据集由两个Robotnik Summit XL移动机器人在一个9.5x6.7米的机器人竞技场中相互追逐时收集。捕食者机器人配备了DAVIS相机，该相机以固定的15赫兹帧率产生图像帧，并以可变的帧率（15-500赫兹，取决于机器人速度）产生动态和活动像素视觉传感器（DVS）直方图，包含5k个ON和OFF事件。数据集包括20个记录，总时长为1.25小时，包含DVS事件和APS帧。数据集被手动标记以包括猎物机器人在视野中的位置（但不是大小），并分为训练集和测试集。

使用方法

使用PRED18数据集的方法包括以下步骤：首先，将数据集加载到Caffe深度学习框架中，然后选择合适的CNN架构进行训练。CNN的输入尺寸可以改变以评估其对远程猎物检测的影响。CNN的输出用于计算猎物相对于捕食者的模拟位置向量，包括角度和距离。最后，CNN可以以Java或C语言实现，并在NVIDIA Jetson TK1嵌入式平台上运行，以实现实时性能。

背景与挑战

背景概述

PRED18数据集是在2018年由瑞士苏黎世大学神经信息学研究所和英国北爱尔兰阿尔斯特大学智能系统研究中心的研究人员共同创建的。该数据集旨在研究卷积神经网络(CNN)在机器人视觉系统中的应用，特别是在动态和活动像素视觉传感器(DAVIS)上的应用。DAVIS传感器能够在不同的帧率下产生图像帧和动态视觉传感器(DVS)事件直方图，这使得机器视觉系统能够根据场景动态调整数据采样率，从而实现可变的延迟和功耗权衡。PRED18数据集包含了DAVIS传感器在捕食者/猎物场景中捕获的1.25小时的图像帧和事件数据，以及人工标注的猎物位置和大小信息。该数据集的创建对于机器人视觉领域的研究具有重要意义，为研究CNN在动态视觉传感器上的应用提供了宝贵的数据资源。

当前挑战

PRED18数据集的研究背景和挑战主要包括：1)机器人视觉系统的应用；2)动态视觉传感器(DAVIS)的应用；3)卷积神经网络(CNN)在机器人视觉系统中的应用。PRED18数据集的研究背景是机器人视觉系统的应用，其挑战在于如何将CNN与DAVIS传感器集成，以实现捕食者/猎物场景中的机器人追逐。PRED18数据集的研究挑战主要包括：1)如何将CNN与DAVIS传感器集成，以实现捕食者/猎物场景中的机器人追逐；2)如何提高CNN在DAVIS事件数据上的准确性和鲁棒性；3)如何实现可变的延迟和功耗权衡。

常用场景

经典使用场景

PRED18数据集主要用于机器人视觉系统的研究，特别是在捕食者-猎物追逐场景下，结合卷积神经网络（CNN）和动态活动像素视觉传感器（DAVIS）的应用。数据集包含了20段记录，每段记录由DAVIS传感器产生的DVS事件和APS帧组成，总计1.25小时。这些数据是在两个移动的Summit XL机器人平台上捕获的，它们在一个机器人竞技场中以捕食者-猎物的方式相互追逐。PRED18数据集的标签包括猎物在捕食者视野（FOV）中的位置（但不是大小），以及猎物的大小类别。该数据集在机器人视觉、目标检测和跟踪等领域有着广泛的应用。

解决学术问题

PRED18数据集解决了机器人视觉系统中常见的学术研究问题，包括如何有效地从动态场景中提取有用的视觉信息，以及如何利用这些信息来控制机器人的运动。该数据集还研究了CNN的鲁棒性，并将其与人类性能进行了比较。此外，PRED18数据集还进行了去卷积分析，以可视化CNN的卷积层和全连接层中的激活。这些研究有助于深入了解CNN的工作原理，并为未来的机器人视觉研究提供了重要的参考。

实际应用

PRED18数据集的实际应用场景包括机器人导航、目标检测和跟踪。通过使用PRED18数据集训练的CNN，可以实现对猎物位置的准确估计，并将其用于控制捕食者机器人的运动。此外，该数据集还可以用于开发更智能的机器人系统，例如自动驾驶汽车、无人机和机器人辅助系统。PRED18数据集还为机器人视觉领域的研究人员提供了一个宝贵的数据资源，可以用于开发新的算法和技术，以提高机器人视觉系统的性能和鲁棒性。

数据集最近研究

最新研究方向

在机器人视觉系统中，卷积神经网络（CNN）的应用正日益增多。传统的基于帧的CNN依赖于恒定的采样率，从而实现固定的延迟和功耗权衡。然而，在PRED18数据集中，研究者们探讨了将CNN与动态活动像素视觉传感器（DAVIS）相结合，以实现自适应数据驱动的视觉。DAVIS传感器能够根据场景动态变化产生不同帧率的图像，从而实现可变的延迟-功耗权衡。在PRED18数据集中，CNN被训练以识别猎物机器人的位置和大小，并提取出相对于猎手的模拟位置向量。该研究不仅展示了CNN在机器人视觉中的强大能力，而且为机器人视觉的未来发展提供了新的思路。

相关研究论文

• PRED18: Dataset and Further Experiments with DAVIS Event Camera in Predator-Prey Robot Chasing

  神经信息学研究所 · 2018年