agibot-world/AgiBotWorldChallenge-2026

---
license: cc-by-nc-sa-4.0

viewer: false

---
# AgiBot World Challenge 2026 - Datasets

Dear participants,

We are excited to announce that the datasets for AgiBot World Challenge 2026 have been updated.

# Track 1: Reasoning2Action

The Reasoning to Action track evaluates models' capabilities in reasoning and action prediction, comprising both online and onsite phases. This track encompasses 10 progressively challenging tasks, ranging from basic to complex, including dual-arm collaboration, long-horizon operations, and high-precision manipulations such as logistics sorting, office organization, retail operations, and daily services.

Based on G2 robot, AgiBot World open datasets, and Genie Sim 3.0, this track focuses on bridging the Sim2Real gap and achieving robust generalization from open-vocabulary understanding to physical interaction.

## Competition Tasks

| No. | Task Name |
| --- | --- |
| 1 | clean_the_desktop |
| 2 | hold_pot |
| 3 | open_door |
| 4 | place_block_into_box |
| 5 | pour_workpiece |
| 6 | scoop_popcorn |
| 7 | sorting_packages |
| 8 | sorting_packages_continuous |
| 9 | stock_and_straighten_shelf |
| 10 | take_wrong_item_shelf |

## Dataset Structure
The dataset repository contains three main directories at the top level (to lower the barrier to entry, we also provided a version of the same dataset without depth):
```
Reasoning2Action-Sim/
├── clean_the_desktop_part_1/
│ ├── data.tar.gz.000
│ ├── meta.tar.gz.000
│ ├── videos.tar.gz.000
│ ├── ...
│ └── videos.tar.gz.013
├── clean_the_desktop_part_2/
│ ├── data.tar.gz.000
│ ├── meta.tar.gz.000
│ ├── videos.tar.gz.000
│ ├── ...
│ └── videos.tar.gz.011
├── ... (Other task folders have the same structure as above.)
└── >>> dataset_without_depth/ <<<
├── clean_the_desktop_part_1/
│ ├── data.tar.gz.000
│ ├── meta.tar.gz.000
│ ├── videos.tar.gz.000
├── clean_the_desktop_part_2/
│ ├── data.tar.gz.000
│ ├── meta.tar.gz.000
│ ├── videos.tar.gz.000
└── ... (Other task folders have the same structure as above.)
```

> **dataset_without_depth: version without depth data**

The directory structure after decompression should be as follows:
```
{task name}/
├── meta/
│ ├── episodes.jsonl
│ ├── episodes_stats.jsonl
│ ├── info.json
│ └── tasks.jsonl
├── data/
│ └── chunk-000/
│ ├── episode_000000.parquet
│ ├── ...
│ └── episode_000400.parquet
└── videos/
└── chunk-000/
├── observation.images.hand_left/
├── observation.images.hand_right/
├── observation.images.top_head/
├── observation.images.hand_right_depth/
├── observation.images.hand_left_depth/
└── observation.images.head_depth/
```

搜集汇总

数据集介绍

构建方式

在机器人学与人工智能交叉领域，AgiBotWorldChallenge-2026数据集的构建体现了从仿真到现实迁移的前沿探索。该数据集依托G2机器人平台、AgiBot World开放数据集以及Genie Sim 3.0仿真环境，系统性地采集了涵盖双臂协作、长时程操作与高精度操控等十个渐进式任务的交互数据。数据采集过程在高度拟真的虚拟环境中进行，通过结构化记录机器人的多视角视觉观测、深度信息与动作序列，形成了包含元数据、轨迹数据与视频流的多模态数据归档，并特别提供了不含深度信息的简化版本以降低使用门槛。

特点

该数据集的核心特点在于其任务设计的层次性与多样性，覆盖了从桌面清理、持壶、开门到物流分拣、货架整理等日常服务与工业场景，有效模拟了真实世界的复杂性。数据呈现为多模态融合形式，不仅包含常规的RGB图像流，还整合了左右手及顶置视角的深度信息，为模型提供了丰富的空间感知线索。数据集结构经过精心组织，每个任务独立归档，内部通过分块存储优化了大规模数据的访问效率，并配有详细的元数据描述，支持对任务定义、 episode统计及数据信息的便捷检索。

使用方法

为有效利用该数据集，研究者需首先解压提供的压缩归档文件，随后按照预设的目录结构访问数据。每个任务文件夹内，元数据文件（如episodes.jsonl、tasks.jsonl）定义了任务目标与轨迹的语义信息，而parquet格式的数据文件则存储了具体的状态与动作序列。多视角视频数据存放于videos子目录下，可按需加载用于视觉表征学习或行为克隆。在模型开发中，建议结合episodes.jsonl中的任务描述进行监督学习或强化学习训练，并利用提供的深度信息通道来增强模型的几何理解能力，以推动在仿真到现实迁移及开放词汇理解到物理交互的泛化研究。

背景与挑战

背景概述

AgiBotWorldChallenge-2026数据集由相关研究机构于2026年构建，旨在推动具身智能领域的发展，特别是机器人从感知到行动的推理与执行能力。该数据集依托G2机器人平台、AgiBot World开放数据集及Genie Sim 3.0仿真环境，核心研究聚焦于弥合仿真与现实之间的鸿沟，实现从开放词汇理解到物理交互的鲁棒泛化。通过涵盖物流分拣、办公整理、零售操作及日常服务等10项渐进式复杂任务，该数据集为评估模型在双机协作、长时程操作及高精度操控等方面的性能提供了标准化基准，对促进机器人自主决策与操作技术的突破具有重要影响力。

当前挑战

该数据集致力于解决具身智能中推理至行动转化这一核心领域问题的挑战，具体包括模型在开放词汇指令下进行长时程、多步骤任务规划与执行的困难，以及仿真环境到真实物理世界迁移时的适应性差距。在构建过程中，挑战主要源于多模态数据的高效采集与对齐，例如需同步整合视觉、深度及动作序列信息，并确保不同任务场景下数据的一致性与可扩展性；同时，为降低研究门槛而提供的无深度版本数据，也反映了在保持数据效用与简化处理复杂度之间的平衡难题。

常用场景

经典使用场景

在具身智能与机器人学领域，AgiBotWorldChallenge-2026数据集为推理到行动的研究提供了经典实验平台。该数据集聚焦于模拟环境中的多任务操作，涵盖从桌面清理到货架整理等十个渐进式挑战任务，通过丰富的视觉观测数据与动作序列记录，支持模型在仿真环境中学习复杂操作策略。研究者可利用其结构化数据训练端到端策略网络，评估模型在长时程、高精度操作中的泛化能力，为具身推理研究奠定数据基础。

实际应用

在工业自动化与服务机器人领域，该数据集的实际应用价值显著。其涵盖的物流分拣、零售理货、日常服务等任务场景，可直接映射到仓储管理、智能零售、家庭助理等现实需求。通过基于该数据集的模型训练，能够提升机器人在非结构化环境中的操作适应性与任务完成效率，为开发可部署于真实世界的自主操作系统提供关键技术验证。

衍生相关工作

围绕该数据集已衍生出系列经典研究工作，主要集中在仿真到现实迁移、多任务强化学习以及视觉-动作联合建模等方向。例如，基于其提供的多视角视觉与深度数据，研究者开发了跨模态表示学习框架以提升策略的泛化性；同时，其长时程任务结构也催生了分层强化学习与课程学习方法的创新，推动了具身智能在复杂操作任务上的算法进步。