ShareRobot

ShareRobot是一个为机器人操作任务专门设计的大型细粒度数据集，包含详细的低级别规划指令、对象可供性区域标注和高分辨率图像。数据集选自Open X-Embodiment，经过严格筛选和标注，具有高分辨率、准确描述、成功执行任务、可见可供性和清晰运动轨迹等特点。数据集规模宏大，多样性丰富，支持机器人从抽象指令到具体行动的转换，适用于复杂的多步规划任务。ShareRobot is a large-scale fine-grained dataset specifically designed for robotic manipulation tasks. It contains detailed low-level planning instructions, object affordance region annotations, and high-resolution images. Sourced from Open X-Embodiment, the dataset has undergone rigorous screening and annotation, and is characterized by high resolution, accurate descriptions, successfully completed tasks, visible affordances, and clear motion trajectories. With a large scale and rich diversity, it supports robots in converting abstract instructions into concrete actions, and is applicable to complex multi-step planning tasks.

搜集汇总

数据集介绍

构建方式

ShareRobot 数据集的构建基于 Open X-Embodiment 数据集，通过严格的筛选标准，选取了 51,403 个实例，主要关注图像质量、描述准确性和任务执行的成功状态。数据集中包含 102 个场景、12 个不同的机器人身体和 107 种原子任务类型。数据标注包括任务规划、物体可供性和末端执行器轨迹，每个数据点都包括详细的低级规划指令，与单个帧相关联。为了提高模型在执行任务时的准确性，数据集中还包含了长视频和高分辨率图像，为模型提供了历史帧记忆和高分辨率图像输入，从而进一步增强了机器人在复杂任务中的操作规划能力。

特点

ShareRobot 数据集的特点包括：细粒度、多维、高质量、大规模和丰富多样性。细粒度意味着每个数据点都包括详细的低级规划指令；多维表示数据集标注了任务规划、物体可供性和末端执行器轨迹；高质量是指数据集中图像分辨率高、描述准确、任务执行成功、可供性可见、运动轨迹清晰；大规模是指数据集中包含 1,028,060 个问答对，是最大的开源数据集；丰富多样性是指数据集中包含 102 个场景、12 个不同的机器人身体和 107 种原子任务类型。

使用方法

ShareRobot 数据集的使用方法如下：首先，从每个机器人操作演示中提取 30 帧，并使用这些帧及其高级描述将它们分解为低级规划指令。然后，三个标注者审查和细化这些指令，以确保标注的精确性。低级规划数据被格式化为与 RoboVQA 结构一致，用于模型训练。对于可供性标注，从数据集中筛选出 8,511 张图像，并为每张图像标注可供性区域。对于轨迹标注，使用与可供性标注相同的格式为抓手标注边界框。这些数据用于计算轨迹位置和训练抓手检测器。轨迹位置通过平均左右手指的边界框来确定，以便有效地标注更多数据。

背景与挑战

背景概述

在多模态大型语言模型（MLLM）领域取得显著进展的背景下，ShareRobot数据集应运而生。该数据集由北京人工智能研究院、中国科学院自动化研究所、北京大学等多家机构的研究人员共同创建，旨在为机器人操作任务提供高质量的多维信息标注，包括任务规划、对象可供性以及末端执行器轨迹。ShareRobot数据集的创建，为机器人操作领域的研究提供了丰富的数据资源，推动了机器人操作能力的提升，特别是在长期操作任务方面。该数据集通过精确标注和多样化场景的构建，有效地增强了机器人操作任务的执行效率，将抽象概念转化为具体行动，为机器人操作领域的研究提供了有力的支持。

当前挑战

尽管ShareRobot数据集为机器人操作领域的研究提供了有力的支持，但仍面临一些挑战。首先，该数据集所解决的领域问题——机器人操作任务，尤其是长期操作任务，需要机器人具备规划、可供性感知和轨迹预测三大核心能力，这对现有模型提出了更高的要求。其次，在构建过程中，数据集的标注和校验工作需要大量的人力和时间投入，如何保证数据质量的同时提高标注效率是一个挑战。此外，随着机器人操作领域的不断发展，如何确保数据集的多样性和可扩展性，以适应未来复杂多变的操作任务，也是一个亟待解决的问题。

常用场景

经典使用场景

ShareRobot数据集为机器人操作任务提供了一个大规模、细粒度的数据集，其中标注了多维信息，包括任务规划、物体可供性和末端执行器轨迹。该数据集支持机器人操作任务，如抓取、移动、放置等，并提供详细的低级规划指令，使模型能够准确地在正确的时间执行任务。此外，ShareRobot数据集还包含丰富的场景、机器人身体和原子任务类型，使模型能够在多变的环境中学习和泛化。

实际应用

ShareRobot数据集在机器人操作任务中具有广泛的应用前景。例如，它可以用于机器人抓取、移动和放置任务，以及复杂的机器人操纵规划。此外，ShareRobot数据集还可以用于机器人导航、场景理解和交互式机器人任务。该数据集的高质量和多样性使其成为机器人研究者和开发人员的重要资源，有助于推动机器人技术的发展和实际应用。

衍生相关工作

基于ShareRobot数据集，研究人员开发了RoboBrain模型，这是一个基于MLLM的模型，旨在增强机器人的感知和规划能力。RoboBrain模型在多种机器人基准测试中取得了最先进的性能，包括RoboVQA和OpenEQA。此外，ShareRobot数据集还衍生了其他相关工作，如Robonet、RT-H和Robomamba等，这些工作探索了MLLM在机器人操作任务中的应用，并提出了新的方法和模型。