THUD (Tsinghua University Dynamic) robotic dataset

THUD数据集由清华大学创建，旨在支持移动机器人在大型动态室内场景中的训练和评估。该数据集包含13个大型动态场景，90K图像帧，20M 2D/3D边界框，以及相机姿态和IMU数据。数据集的创建过程结合了真实机器人平台和物理模拟平台的采集方法，确保了数据的真实性和多样性。THUD数据集主要应用于移动机器人的动态场景理解任务，如3D物体检测、语义分割和机器人重定位，旨在解决复杂拥挤动态场景中的机器人工作问题。

The THUD dataset was developed by Tsinghua University to support the training and evaluation of mobile robots in large-scale dynamic indoor scenarios. It contains 13 large dynamic scenarios, 90K image frames, 20M 2D/3D bounding boxes, along with camera poses and IMU data. The dataset's creation combines data collection methods from real robotic platforms and physical simulation platforms, ensuring the authenticity and diversity of the collected data. Primarily applied to dynamic scene understanding tasks for mobile robots, such as 3D object detection, semantic segmentation and robot relocalization, the THUD dataset is designed to address robotic operation challenges in complex, crowded dynamic scenarios.

原始信息汇总

THUD Robotic Dataset 概述

数据集简介

• 名称: THUD Robotic Dataset
• 全称: Mobile Robot Oriented Large-Scale Indoor Dataset for Dynamic Scene Understanding
• 作者: Yi-Fan Tang†, Cong Tai†, Fang-Xing Chen†, Wan-Ting Zhang, Tao Zhang, Xue-Ping Liu, Yong-Jin Liu, Long Zeng∗
• 机构: Tsinghua University

数据集特点

• 规模与动态性: 提供大规模室内场景的动态标注数据，包含大量动态物体，对机器人任务构成显著挑战。
• 场景理解: 支持多种机器人场景理解任务的训练和测试，如物体检测、语义分割、机器人重定位、场景重建等。
• 选择性聚焦: 包含真实和合成标注数据，未来在规模和能力上具有巨大扩展潜力。
• 丰富标签: 包含多种标签，如实例分割、语义分割、3D/2D物体检测、深度、RGB、姿态等，广泛适用于各个领域。

数据集构成

• 数据类型: 包含真实世界和合成数据。
• 采集平台: 使用真实机器人平台和物理模拟平台进行数据采集。

相关资源

• 数据集申请表: Dataset Application Form
• 论文: PAPER
• GitHub: Github

视频展示

• 数据集视频: Display Video

图片展示

• THUD-Robot Dataset: THUD_head.png
• 合成数据采集平台: platform.png
• 标注统计: Statistics.png
• 合成场景: SyntheticScenes.png
• 真实场景: RealScenes.png
• 数据集对比: Datasets_Comparison.png

合作单位

• 清华大学
• 数据与信息中心
• IMMV
• 普渡科技
• 普渡

引用信息

@inproceedings{2024ICRA, title={Mobile Oriented Large-Scale Indoor Dataset for Dynamic Scene Understanding}, author={Yi-Fan Tang, Cong Tai, Fang-Xing Chen, Wan-Ting Zhang, Tao Zhang, Yong-Jin Liu, Long Zeng*}, booktitle = {Mobile Oriented Large-Scale Indoor Dataset for Dynamic Scene Understanding, submitted to IEEE International Conference Robotic and Automation, 2024.}, }

搜集汇总

数据集介绍

构建方式

THUD数据集的构建过程融合了真实世界和合成数据的采集，旨在为移动机器人提供大规模的动态室内场景数据。真实数据通过PUDUbot2和Kinect V2联合采集平台获取，涵盖了清华大学校园内的多种服务机器人工作环境。合成数据则通过Unity3D平台生成，模拟了移动机器人在复杂动态环境中的工作场景。数据集的标注工作结合了自动化算法和人工校验，确保了标注的准确性和完整性，涵盖了2D和3D边界框、语义分割等多种标注类型。

特点

THUD数据集的显著特点在于其动态性和多样性。数据集包含了13个大规模动态场景，涵盖了从真实世界到合成环境的多种复杂情况。每帧数据均经过密集标注，提供了超过2000万个标注信息，包括动态对象如行人、机器人和购物车。此外，数据集还提供了相机姿态和IMU数据，为机器人动态场景理解任务提供了丰富的训练和评估资源。

使用方法

THUD数据集适用于多种机器人室内场景理解任务，包括3D物体检测、语义分割和机器人重定位等。研究者和开发者可以利用该数据集训练和评估算法在动态环境中的性能。通过分析数据集中的动态对象分布和场景复杂度，可以进一步优化算法以应对实际工作环境中的挑战。数据集的持续扩展和更新也将为未来的研究提供更多可能性。

背景与挑战

背景概述

随着移动机器人在多种场景中的广泛应用，如餐厅和超市，这些典型动态环境中的机器人性能评估变得尤为重要。然而，现有的大多数移动机器人数据集主要捕捉静态场景数据，无法充分支持动态环境下的机器人训练和评估。为解决这一问题，清华大学动态机器人数据集（THUD）应运而生，该数据集由Yi-Fan Tang等研究人员于2023年创建，旨在为移动机器人提供大规模室内动态场景数据，以训练和评估其动态场景理解算法。THUD数据集不仅包含真实世界数据，还结合了合成数据，涵盖了13个大型动态场景，包含90,000帧图像和2000万个2D/3D边界框，以及相机姿态和IMU数据。该数据集的构建旨在推动移动机器人算法在复杂拥挤动态环境中的快速迭代和优化。

当前挑战

THUD数据集在构建过程中面临多项挑战。首先，动态场景的理解和标注是一个复杂的过程，需要处理大量移动对象，如行人、机器人和购物车，这增加了数据标注的难度和复杂性。其次，数据集的构建需要结合真实世界和合成数据，确保两者的无缝集成和一致性，这对数据采集和处理技术提出了高要求。此外，动态场景中的机器人任务，如3D物体检测、语义分割和机器人重定位，在现有算法下表现出的性能下降问题，揭示了现有技术在处理动态环境时的局限性。通过THUD数据集，研究者们希望解决这些挑战，推动移动机器人技术在实际动态环境中的应用和发展。

常用场景

经典使用场景

THUD数据集在动态场景理解中展现了其经典应用，特别是在移动机器人对复杂室内环境的感知与导航任务中。该数据集通过融合真实世界与合成数据，提供了丰富的动态对象标注，如移动机器人、行人及购物车等，为算法在动态环境中的鲁棒性测试提供了坚实基础。

解决学术问题

THUD数据集解决了现有机器人数据集在动态场景理解方面的不足，填补了学术研究中对动态环境数据需求的空白。通过提供大规模、多场景的动态数据，该数据集显著提升了机器人算法在复杂动态环境中的适应性和准确性，推动了相关领域的技术进步。

衍生相关工作

基于THUD数据集，研究者们开展了多项相关工作，包括但不限于动态场景下的3D物体检测、语义分割和机器人重定位等。这些研究不仅提升了现有算法的性能，还催生了新的算法和模型，如针对动态对象的特征提取和融合技术，进一步推动了移动机器人技术的发展。