Earth Rover Dataset

Earth Rover Dataset是由国际机器人与自动化会议（ICRA）在庆祝其40周年活动中记录的，用于支持地球漫游者挑战赛。该数据集包含超过2000小时的实际导航数据，采集自全球多个城市，包括荷兰的小村庄Oudewater。数据集的创建旨在丰富现有的SLAM和导航算法训练数据，特别适用于开放世界环境下的自主导航模型研究。通过该数据集，研究者可以训练机器人使用端到端算法进行导航，解决动态环境中的安全导航问题。

The Earth Rover Dataset was compiled by the International Conference on Robotics and Automation (ICRA) for its 40th anniversary event to support the Earth Rover Challenge. This dataset contains over 2,000 hours of real-world navigation data collected from multiple cities worldwide, including the small Dutch village of Oudewater. It was created to enrich existing training data for SLAM and navigation algorithms, and is particularly suitable for research on autonomous navigation models in open-world environments. Through this dataset, researchers can train robots to conduct navigation using end-to-end algorithms, addressing the challenge of safe navigation in dynamic environments.

原始信息汇总

数据集描述

基本信息

• 许可证: cc-by-sa-4.0
• 任务类别:
  • 强化学习
  • 机器人学
• 语言: 英语
• 标注创建者: 专家生成
• 标签:
  • 自动驾驶
  • 机器人导航
• 美观名称: FrodoBots 2K Dataset

详细描述

• 远程操作时长: 约2,000小时
• 数据集大小: 1TB
• 联系人: [e-mail]

数据集概述

FrodoBots 2K Dataset 是一个多样化的数据集，包含来自约2,000小时远程操作的人行道机器人驾驶的摄像头录像、GPS、IMU、音频记录和人类控制数据，覆盖10多个城市。

数据类型

1. 控制数据: 玩家控制输入，频率为10Hz，以及每个轮子的RPM读数。
2. GPS数据: 纬度、经度和时间戳信息，频率为1Hz。
3. IMU数据: 9自由度传感器数据，包括加速度（100Hz）、陀螺仪（1Hz）和磁力计信息（1Hz），以及时间戳数据。
4. 后摄像头视频: 后向摄像头捕捉的视频，帧率为20 FPS，分辨率为540x360。
5. 前摄像头视频: 前向摄像头捕捉的视频，帧率为20 FPS，分辨率为1024x576。
6. 麦克风: 机器人麦克风捕捉的音频记录，采样率为16000Hz，单声道。
7. 扬声器: 机器人扬声器输出的音频记录，采样率为16000Hz，单声道。

数据可用性

• 截至2024年5月12日，约1,300小时数据可供下载，剩余约700小时数据正在清洗中，预计5月底或6月初可供下载。

数据集下载

• 使用此csv文件中的链接下载FrodoBots数据集。

辅助代码

• 提供了一个helpercode.ipynb文件，旨在帮助研究人员快速开始使用数据集。

贡献者

• 数据集由FrodoBots Lab团队创建，包括Michael Cho、Sam Cho、Aaron Tung、Niresh Dravin和Santiago Pravisani。

搜集汇总

数据集介绍

构建方式

本文旨在构建一个名为Earth Rover Dataset的数据集，该数据集通过在荷兰鹿特丹的Holland America Line Cruise Terminal使用Earth Rover Zero机器人进行记录。该机器人配备有前向和后向摄像头，以及IMU、GPS和4G SIM卡，能够在全球范围内进行远程操控。数据集的构建将涵盖超过2000小时的真实世界导航场景，涉及多个城市，如奥克兰、武汉等，以丰富现有的机器人导航算法训练数据。

使用方法

该数据集可被用于训练机器人以端到端算法进行导航，或用于情况感知，如行人、自行车和其他交通的检测。数据集的另一个应用是结合卫星地图和街道地图创建场景动作图，从而将学到的导航行为转移到其他机器人上。研究者和开发者可以通过分析和利用数据集中的视觉地图和机器人运动估计信息，来改进和优化SLAM和导航算法。

背景与挑战

背景概述

Earth Rover Dataset是一组计划在荷兰鹿特丹录制的_dataset，旨在为即将到来的ICRA@40庆典中的Earth Rover Challenge提供支持。该数据集的构建，由Qi Zhang、Zhihao Lin和Arnoud Visser等研究人员提出，并计划利用FrodoBot Earth Rover Zero机器人在 Rotterdam的Holland America Line Cruise Terminal进行录制。此数据集的创建，不仅是对机器人视觉SLAM（同时定位与地图构建）技术的一次重要实践，也是对当前视觉导航算法在真实世界应用中的一次挑战。它的出现将进一步丰富现有的机器人学习数据集，为视觉SLAM和导航算法的训练提供宝贵的现实世界数据。

当前挑战

在构建Earth Rover Dataset的过程中，研究人员面临多重挑战。首先，如何仅利用单目相机而非深度相机来生成详细的导航地图，这对于提高算法的实用性和降低成本至关重要。其次，动态障碍物回避技术的实现仍然困难，这对机器人在真实世界环境中的安全导航提出了挑战。此外，数据集的构建还需克服在公共场合录制时可能出现的安全和隐私问题。最后，为了使数据集对广泛的研究和应用具有价值，还需解决如何有效地整合多源数据（如卫星地图、街道地图等）以及如何在不同机器人之间实现功能迁移等关键问题。

常用场景

经典使用场景

Earth Rover Dataset作为一项创新性的数据集，其经典使用场景主要聚焦于开放世界中的自主导航模型研究。该数据集通过在不同城市记录真实世界的导航集，为算法提供了在多种环境中进行测试和训练的可能性，特别是在具有挑战性的户外环境中，如荷兰鹿特丹的Holland America Line Cruise Terminal。它不仅有助于机器人通过单目相机进行视觉SLAM和导航地图的构建，还支持对动态障碍物检测和避障等安全功能的研发。

解决学术问题

该数据集解决了视觉SLAM领域中多个学术研究问题，包括但不限于单目相机在无深度信息下的导航地图构建、动态环境下的视觉里程计以及动态障碍物的检测。通过提供超过2000小时的真实世界数据，它为训练更鲁棒的SLAM和导航算法提供了基础，并有助于推动机器人视觉系统在实际应用中的可靠性和准确性。

实际应用

在实际应用方面，Earth Rover Dataset的应用场景广泛，可延伸至自动驾驶、机器人配送、环境监测等多个领域。特别地，它对于开发能够在复杂城市环境中自主导航的机器人至关重要，有助于提升机器人在真实世界中的适应能力和互动能力。

数据集最近研究

最新研究方向

本文介绍了即将录制的Earth Rover Dataset，该数据集旨在为ICRA@40的Earth Rover Challenge提供支持。该挑战聚焦于开放世界中的自主导航模型研究，使用单目相机进行导航地图创建更具挑战性。近期研究中，集成多视图信息、利用神经网络替代深度传感器进行深度估计、以及使用更高级特征如线条或平面等约束，为单目SLAM方法展现了前景。Earth Rover Zero机器人所收集的超过2000小时的真实世界数据集，将用于训练SLAM和导航算法。该数据集不仅可用于端到端的导航算法训练，还能用于场景感知、视觉测距等领域，进一步提升自主导航能力。研究还探讨了将视觉地图与卫星地图结合创建场景动作图的可行性，以及将学到的导航行为迁移至其他机器人的跨体型学习方法。

相关研究论文

• An Earth Rover dataset recorded at the ICRA@40 party

  国际机器人与自动化会议 · 2024年