AgiBot World

为推动通用具身智能发展并提升高质量机器人数据的可获取性，智元机器人联合上海人工智能实验室、国家地方共建人形机器人创新中心及上海库帕思科技有限公司发布大规模真机数据集 AgiBot World。该数据集基于多真实场景与多类型机器人系统采集，覆盖数据采集、处理与筛选流程，面向学术与产业提供通用机器人数据基础。当前已发布 Alpha 与 Beta 两个版本，其中 Beta 包含超过100万条操作轨迹（约43.8TB），Alpha 为约9万条精选子集。数据覆盖100余个真实场景，支持多任务学习与跨任务泛化研究，在长时序数据与复杂操作任务方面进行了扩展。任务涵盖80余种操作技能，从基础抓取到双臂协同及接触密集型复杂任务，重点支持接触式操作、长程规划及多机器人协作，并通过统一数据格式与约30Hz控制信号，为机器人策略学习与泛化评估提供系统化支持。

To advance the development of general embodied intelligence and improve access to high-quality robotic data, AgiBot, in collaboration with the Shanghai Artificial Intelligence Laboratory, the National and Local Co-built Humanoid Robotics Innovation Center, and Shanghai Kupasi Technology Co., Ltd., has released the large-scale real-world dataset **AgiBot World**. Collected from diverse real-world scenarios and multiple types of robotic systems, the dataset covers the full pipeline of data acquisition, processing, and filtering, providing a foundational resource for both academic research and industrial applications. Two versions, Alpha and Beta, have been released: the Beta version contains over one million operation trajectories (approximately 43.8 TB), while the Alpha version is a curated subset of around 90,000 trajectories. The dataset spans more than 100 real-world scenarios and supports multi-task learning as well as cross-task generalization, with particular expansion in long-horizon sequences and complex manipulation tasks. It includes over 80 types of operational skills, ranging from basic grasping to dual-arm coordination and contact-rich tasks, with a focus on contact-based manipulation, long-horizon planning, and multi-robot collaboration. Through a unified data format and control signals at approximately 30 Hz, AgiBot World provides systematic support for robotic policy learning and generalization evaluation.

原始信息汇总

AgiBot World 数据集概述

数据集特点

• 数据规模: AgiBot World Beta 已发布，包含超过100万条机器人操作轨迹（约43.8TB），Alpha 为约9万条精选子集。
• 场景多样性: 覆盖100+真实世界场景，来自100台机器人，涵盖5大目标领域。
• 硬件配置: 使用先进硬件系统，包括视觉触觉传感器、6自由度灵巧手及移动双臂机器人。
• 任务类型: 涉及接触密集型操作、长时序规划及多机器人协作等复杂任务。
• 模型生态: 配套发布 GO-1 与 GO-1 Air 基础模型，支持通用机器人策略学习。

数据集获取与预处理

• 数据获取: 支持通过 OpenDataLab（openxlab CLI）或 HuggingFace 下载（如 https://huggingface.co/datasets/agibot-world/AgiBotWorld-Beta）。
• 预处理: 使用 lerobot 框架进行数据转换与加载，官方提供格式转换脚本。

训练

• 训练方法: 基于 GO-1 模型进行训练与微调，支持全参数或部分模块（Action Expert）微调。
• 训练框架: 使用 LeRobot 数据与训练体系，支持自定义配置与控制频率设置。
• 推理部署: 支持本地推理与远程推理（Server-Client 架构）。

未来计划

• GO-1 模型优化: 持续完善基础模型能力，开放更多预训练权重与微调工具。
• AgiBot World Challenge: 构建标准化评测体系与竞赛，推动机器人泛化能力评估。
• AgiBot World Colosseo: 持续扩展全栈机器人学习平台，完善数据-模型-评测闭环。
• 数据扩展: 持续增加更多场景、机器人类型与复杂任务数据。

许可与引用

• 许可: 数据集和代码均采用 CC BY-NC-SA 4.0 许可。
• 引用: 如果数据集对您的研究有帮助，请考虑引用相关论文与技术报告。

BibTeX @article{bu2025agibot_arxiv, title={Agibot world colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems}, author={Bu, Qingwen and others}, journal={arXiv preprint arXiv:2503.06669}, year={2025} }

搜集汇总

数据集介绍

构建方式

AgiBot World数据集的构建依托于100台机器人在100多种真实场景中的操作轨迹，涵盖了接触式操作、长时程规划以及多机器人协作等复杂任务。数据采集过程中采用了先进的硬件设备，如视觉触觉传感器、6自由度灵巧手和移动双臂机器人，确保了数据的多样性和高质量。数据集分为 Alpha 与 Beta 两个版本发布，其中 Beta 版本为完整数据集，包含约 1,003,672 条轨迹（约 43.8TB），Alpha 为其精选子集（curated subset），包含约 92,214 条轨迹，并通过 Hugging Face 与 OpenDataLab 提供下载。

使用方法

使用AgiBot World数据集时，用户需首先通过Git LFS从Hugging Face平台克隆数据。数据集提供了预处理脚本，可将数据转换为lerobot格式，便于后续分析。用户还可参考提供的Jupyter Notebook进行简单的扩散策略训练。数据集的开放性和易用性使其能够广泛应用于机器人学习、规划和控制等领域的研究，并支持基于 GO-1 模型进行推理或微调训练，同时可通过本地或远程推理服务实现机器人策略部署。

背景与挑战

背景概述

AgiBot World数据集由OpenDriveLab团队于2024年推出，旨在为机器人学领域提供大规模、多场景的机器人轨迹数据。该数据集包含超过一百万条来自100台机器人的轨迹，覆盖了100多个真实世界场景，涉及五个目标领域。其核心研究问题聚焦于接触丰富的操作、长时程规划以及多机器人协作等复杂任务。通过引入先进的硬件设备，如视觉触觉传感器、六自由度灵巧手和移动双臂机器人，AgiBot World为机器人学的研究与应用提供了强有力的数据支持，推动了智能机器人在复杂环境中的自主决策与协作能力的发展。随着 Colosseo 平台与基础模型的引入，AgiBot World 已从单一数据集发展为一个以高质量机器人数据为基础，并配套基础模型、评测基准与生态体系的大规模机器人学习平台。

当前挑战

AgiBot World数据集在解决机器人学领域的复杂任务时面临多重挑战。首先，接触丰富的操作和长时程规划任务对数据的精确性和多样性提出了极高要求，如何确保数据的高质量与广泛覆盖成为关键难题。其次，多机器人协作场景的构建需要协调多个机器人的行为，这对数据采集的同步性与一致性提出了严峻考验。在数据集构建过程中，硬件设备的复杂性以及数据采集环境的多样性也增加了数据处理的难度。此外，随着平台化（Colosseo）和基础模型（GO-1）的引入，如何实现数据、模型与任务之间的统一接口与高效协同，也成为新的系统性挑战。

常用场景

经典使用场景

AgiBot World数据集在机器人学领域中被广泛应用于复杂任务的模拟与训练。其包含的百万级轨迹数据和高精度硬件配置，使得研究人员能够在多样化的真实场景中进行接触式操作、长时程规划以及多机器人协作的实验。这些数据为机器人算法的开发与优化提供了丰富的实验环境，特别是在需要高精度和复杂交互的任务中，AgiBot World成为了不可或缺的基准数据集。

解决学术问题

AgiBot World数据集解决了机器人学中多个关键学术问题。首先，它通过提供大量真实场景下的轨迹数据，帮助研究人员更好地理解机器人在复杂环境中的行为模式。其次，数据集中的多机器人协作任务为研究分布式控制和协同算法提供了实验平台。此外，数据集中的接触式操作任务为开发更精确的触觉反馈和力控制算法提供了数据支持。这些问题的解决推动了机器人学领域的理论进步和技术创新。

实际应用

在实际应用中，AgiBot World数据集被广泛用于工业自动化、服务机器人以及医疗机器人等领域。例如，在工业自动化中，数据集中的多机器人协作任务可以用于优化生产线上的机器人协同工作流程。在服务机器人领域，数据集中的长时程规划任务有助于开发更智能的家用机器人。此外，医疗机器人领域的研究人员可以利用数据集中的接触式操作任务，开发更精确的手术机器人系统。这些应用展示了AgiBot World数据集在推动机器人技术实际落地中的重要作用。

数据集最近研究

最新研究方向

在机器人技术领域，AgiBot World数据集以其丰富的轨迹数据和多样化的真实场景，为接触式操作、长时程规划以及多机器人协作等前沿研究提供了重要支持。该数据集涵盖了超过一百万条来自100个机器人的轨迹，覆盖了五大目标领域的100多个真实场景，结合了视觉触觉传感器、六自由度灵巧手和移动双臂机器人等尖端硬件设备。目前，AgiBot World 已发布 Alpha 与 Beta 数据集版本，并进一步推出 Colosseo 平台与机器人基础模型 GO-1，持续推动其在机器人学习和智能控制中的应用。随着数据规模与模型能力的提升，AgiBot World 正逐步构建集数据、模型与评测于一体的研究体系，并已在机器人学习基准构建与实际应用探索中发挥重要作用。这一系列进展不仅加速了机器人技术的创新，也为多领域交叉研究提供了新的可能性。