GRIFFIN Perception Dataset

GRIFFIN Perception Dataset是由西班牙塞维利亚大学的GRVC机器人实验室开发的数据集，专注于鸟类规模扑翼机器人的感知技术。该数据集包含21个子集，涵盖了三种不同的飞行场景（一个室内和两个室外）。数据集内容包括从事件相机、传统相机和两个惯性测量单元（IMUs）收集的数据，以及来自激光跟踪器或运动捕捉系统的地面实况测量。创建过程涉及在不同场景中收集多种类型的飞行数据。该数据集的应用领域主要集中在开发和评估基于图像和事件的感知技术，如特征提取、里程计和物体检测，旨在解决扑翼机器人在飞行中遇到的高振动水平和光照条件剧烈变化等问题。The GRIFFIN Perception Dataset was developed by the GRVC Robotics Laboratory at the University of Seville, Spain, focusing on perception technologies for bird-scale flapping-wing robots. This dataset includes 21 subsets covering three distinct flight scenarios (one indoor and two outdoor). It contains data collected from event cameras, conventional cameras, two inertial measurement units (IMUs), as well as ground truth measurements from laser trackers or motion capture systems. The dataset creation process involved collecting diverse flight data across different scenarios. The primary application fields of this dataset center on developing and evaluating image-based and event-based perception technologies such as feature extraction, odometry and object detection, aiming to address challenges encountered by flapping-wing robots during flight, including high vibration levels and drastic changes in lighting conditions.

搜集汇总

数据集介绍

构建方式

GRIFFIN Perception Dataset 是一个专门为鸟形扑翼机器人设计的感知数据集。该数据集的构建过程涉及在三个不同的场景（一个室内和两个室外）中收集 21 个不同类型飞行的数据。数据采集过程中使用了广泛用于空中机器人且适合处理扑翼机器人感知挑战的机载传感器，包括事件相机、普通相机和两个惯性测量单元 (IMU)，以及来自激光跟踪器或运动捕捉系统的地面真实测量数据。

使用方法

GRIFFIN Perception Dataset 的使用方法包括：1) 开发、调整或评估从特征提取和里程计到对象检测、语义分割或 SLAM 的各种基于图像和事件的感知技术；2) 使用数据集中的基础数据集、ArUco 数据集和 People 数据集来开发和测试不同的感知算法；3) 使用数据集中的地面真实测量数据来评估感知算法的性能。

背景与挑战

背景概述

GRIFFIN Perception Dataset 是一个专门为鸟形扑翼机器人（ornithopters）设计的感知数据集。该数据集的创建旨在解决扑翼机器人感知系统开发中的技术难题，例如平台的高复杂性、机载传感器和电子设备的安装问题，以及在飞行过程中由于振动和突然运动导致的运动模糊和光照条件变化。该数据集由西班牙塞维利亚大学GRVC机器人实验室的研究团队开发，并得到了欧洲研究委员会GRIFFIN ERC高级赠款的资助。该数据集是首个针对扑翼机器人感知的实验性机载数据集，它包含了广泛用于航空机器人感知的机载传感器数据，例如事件相机、常规相机和惯性测量单元（IMUs），以及来自激光跟踪器或运动捕捉系统的真实数据。这些数据集在不同的飞行场景中收集，包括室内和室外环境，共收集了21个不同类型的飞行数据集。

当前挑战

GRIFFIN Perception Dataset 面临的主要挑战包括：1)扑翼机器人平台的高振动水平和突然运动导致的运动模糊和光照条件变化；2)现有感知技术在应对扑翼机器人感知挑战方面的局限性；3)缺乏具有适当有效载荷能力的扑翼机器人平台，以及开发这些平台的困难。此外，该数据集还面临着如何将事件相机等新型传感器集成到扑翼机器人平台中，并开发能够在机载平台上实时运行的基于事件的感知算法的挑战。

常用场景

经典使用场景

GRIFFIN Perception Dataset作为鸟形扑翼机器人的感知数据集，其经典的使用场景包括特征提取、里程计、目标检测、语义分割和同时定位与地图构建（SLAM）等。该数据集提供了不同类型飞行的数据，包括机动飞行、带有地面实况定位的ArUco标记数据以及用于开发基于事件和/或视觉图像的目标检测技术的人体数据。这些数据可以用于开发、调整或评估各种基于图像和事件的感知技术，从而帮助研究人员更好地理解扑翼飞行器感知的挑战，并开发出更先进的感知系统。

解决学术问题

GRIFFIN Perception Dataset解决了扑翼飞行器感知中的一些常见学术研究问题，例如机械振动导致的运动模糊和光照条件的变化。该数据集提供了事件相机、传统相机和IMU等传感器的测量数据，以及来自激光跟踪器或运动捕捉系统的地面实况测量数据。这些数据可以帮助研究人员开发出能够处理运动模糊和光照变化等感知挑战的感知算法，并评估这些算法的性能。

实际应用

GRIFFIN Perception Dataset在实际应用中具有广泛的应用前景，例如在无人机的感知系统中，可以帮助无人机更好地理解周围环境，并执行更复杂的任务，如自主导航、避障和目标跟踪等。此外，该数据集还可以用于开发更先进的机器人感知系统，例如仿生机器人、医疗机器人等，从而帮助机器人更好地与人类和环境交互。

数据集最近研究

最新研究方向

GRIFFIN Perception Dataset 作为首个针对鸟型扑翼机器人感知的数据集，为解决扑翼机器人感知领域的挑战提供了重要的工具。该数据集包含了事件相机、传统相机和惯性测量单元 (IMU) 的测量数据，以及来自激光跟踪器或运动捕捉系统的地面真实数据，涵盖了不同类型的飞行场景。该数据集的发布推动了基于事件相机和视觉图像的感知技术研究，并有助于开发、调整或评估一系列图像和事件感知技术，从特征提取和里程计到目标检测、语义分割或同步定位与地图构建 (SLAM)。未来研究将专注于基于上述传感器开发可在扑翼机器人上实时执行的基于事件视觉方法，以赋予扑翼机器人感知并与环境互动的能力。

相关研究论文

• The GRIFFIN Perception Dataset: Bridging the Gap Between Flapping-Wing Flight and Robotic Perception

  GRVC Robotics Lab Sevilla, Universidad de Sevilla, Spain · 2021年