Genie Sim 3.0 Dataset

Genie Sim 3.0数据集由AgibotTech团队开发，是一个面向人形机器人的高保真仿真平台数据集。该数据集包含超过10万小时的合成数据，覆盖200多项任务，数据通过3D重建和视觉生成技术构建，具有多维度的领域随机化特性。数据集通过自然语言驱动的场景生成工具链自动创建，支持快速环境泛化和大规模策略评估，主要应用于机器人操作任务的模拟到现实（sim-to-real）迁移学习，旨在解决真实世界数据采集成本高、评估效率低的核心问题。

The Genie Sim 3.0 dataset, developed by the AgibotTech team, is a high-fidelity simulation platform dataset tailored for humanoid robots. It contains over 100,000 hours of synthetic data covering more than 200 tasks, which is constructed through 3D reconstruction and visual generation technologies and features multi-dimensional domain randomization. The dataset is automatically created via a natural language-driven scene generation toolchain, supporting rapid environment generalization and large-scale policy evaluation. It is primarily applied to sim-to-real transfer learning for robotic manipulation tasks, aiming to solve the core problems of high real-world data collection costs and low evaluation efficiency.

原始信息汇总

Genie Sim Benchmark 数据集概述

一、 数据集简介

Genie Sim Benchmark 是 AgiBot 旗下仿真框架 Genie Sim 的开源评估版本，致力于为具身智能模型提供精确的性能测试与优化支持。该数据集旨在通过高效的仿真工具链，为开发者提供数据生成能力和评估基准，以加速具身智能的开发。

二、 核心特性

1. 仿真环境与资产：包含 550 多个高保真、物理精确的 3D 仿真环境与资产。
2. 任务与评估：
   • 提供 10 种以上操作任务的仿真基准与评估任务。
   • 提供标准化的评估指标，用于量化具身 AI 模型的性能。
   • 在 GO-1 模型上，评估结果的仿真到真实误差小于 5%。
3. 功能支持：
   • 支持基于 VR 和键盘的遥操作能力。
   • 支持所有关节和末端执行器位姿的记录与回放。
   • 支持 UniVLA 基线模型进行仿真评估。
   • 提供灵活、用户友好的仿真配置与界面。

三、 数据集内容与更新

1. 主要内容：数据集包含用于评估和推进具身 AI 模型发展的仿真基准，提供真实环境、多样化任务和标准化指标。
2. 关键更新：
   • v2.2 (2025年7月14日)：为所有 Agibot World Challenge 任务提供详细的评估指标；添加自动评估脚本，可多次运行每个任务并记录所有步骤的分数。
   • v2.1 (2025年6月25日)：
     • 为 Agibot World Challenge 2025 新增 10 个操作任务及所有仿真资产。
     • 在 Huggingface 上开源了 10 个操作任务的合成数据集（地址：https://huggingface.co/datasets/agibot-world/AgiBotWorldChallenge-2025/tree/main/Manipulation-SimData）。
     • 集成 UniVLA 策略并支持模型推理仿真评估。
     • 优化通信框架，仿真运行速度提升 2 倍。

四、 使用与支持

1. 快速开始：安装、用户指南和 API 参考请查阅页面：https://agibot-world.com/sim-evaluation/docs/#/v2。

2. 许可证：本仓库中的所有数据和代码均采用 Mozilla Public License 2.0 许可证。

3. 引用：

   @misc{2025geniesim, title={GenieSim}, author={GenieSim Team}, year={2025}, url={https://github.com/AgibotTech/genie_sim} }

五、 相关资源

• GitHub 仓库：https://github.com/AgibotTech/genie_sim
• HuggingFace 数据集：https://huggingface.co/datasets/agibot-world/GenieSimAssets
• 基准测试主页：https://agibot-world.com/sim-evaluation
• Genie Studio：https://genie.agibot.com/en/geniestudio

搜集汇总

数据集介绍

构建方式

在机器人学习领域，大规模、高保真数据的获取是推动模型泛化能力的关键。Genie Sim 3.0数据集的构建采用了双模式数据采集管道，结合远程操作与自动化生成。远程操作模式利用VR设备捕捉人类专家的演示，生成拟人化运动轨迹以应对复杂长时程任务；自动化模式则依托GPU加速的运动规划器与基于大语言模型的资产检索系统，通过任务解析与序列执行，在保留环境完整性的前提下高效合成海量交互数据。该流程集成了多维域随机化，涵盖光照、布局、物理属性等变量，确保了数据的多样性与真实性。

使用方法

为促进具身智能模型的训练与评估，Genie Sim 3.0数据集提供了集成化的使用路径。研究人员可通过平台的自然语言接口快速生成多样化仿真场景，并利用开源的资产库与合成数据开展模型训练。数据集支持对视觉-语言-动作模型进行闭环评估，其基准测试系统自动生成超过十万个评估场景，并借助视觉语言模型实现自动化任务完成度判定。该平台解耦了仿真环境与模型推理服务，支持多种机器人类型与末端执行器，允许本地或分布式部署，从而为模型迭代提供可扩展、可重复的评估框架，显著加速研发周期。

背景与挑战

背景概述

随着具身智能与机器人操作技术的快速发展，视觉-语言-动作模型对大规模、高质量训练数据与可扩展评估基准的需求日益迫切。Genie Sim 3.0数据集由AgibotTech团队于2026年发布，旨在通过高保真仿真平台解决真实世界数据采集成本高昂、仿真环境碎片化与保真度不足的核心瓶颈。该平台集成了环境重建、场景泛化、数据收集与自动化评估全流程，开源了超过10,000小时的合成数据与100,000个评估场景，为机器人操作模型的规模化训练与系统化评测提供了统一基础，显著推动了仿真到现实迁移研究的可复现性与迭代效率。

当前挑战

该数据集致力于解决机器人操作领域中仿真到现实迁移的泛化性挑战，其核心在于如何生成兼具物理真实性与视觉逼真度的大规模合成数据，以有效替代昂贵且有限的实际机器人交互数据。在构建过程中，团队面临多重技术难题：高保真环境重建需克服激光SLAM相机位姿精度不足导致的3D高斯溅射渲染模糊问题；基于大语言模型的场景生成需平衡语义控制粒度与自动化扩展能力，确保生成场景的多样性与可控性；自动化评估体系需设计能够全面衡量模型语义理解、空间推理与操作执行的多维能力剖面，以超越传统固定指标与人工评估的局限性。

常用场景

经典使用场景

在具身智能与机器人操作领域，高保真仿真平台对于训练和评估视觉-语言-动作模型至关重要。Genie Sim 3.0数据集通过集成大规模合成数据与自动化评估场景，为研究人员提供了一个经典的使用场景：在高度可控的仿真环境中，系统性地生成和泛化多样化任务场景，以支持机器人策略的规模化训练与鲁棒性测试。其核心在于利用大语言模型驱动的场景生成器，将自然语言指令实时转化为逼真的仿真环境，并结合多维域随机化技术，快速构建涵盖不同光照、布局、物体姿态及机器人形态的变体，从而为模型提供丰富且可扩展的训练与评估基础。

解决学术问题

Genie Sim 3.0数据集有效应对了机器人学习中的若干关键学术挑战。传统上，真实世界数据采集成本高昂且难以规模化，而现有仿真基准往往存在保真度不足、场景碎片化或泛化能力有限等问题，导致显著的仿真到现实迁移差距。该数据集通过提供超过一万小时的合成交互数据与十万余个评估场景，构建了一个统一的高保真仿真平台，不仅大幅降低了数据获取门槛，还通过系统化的域随机化增强了模型的泛化性能。其实验验证表明，合成数据在特定条件下可作为真实数据的有效替代，支持零样本仿真到现实迁移，从而为大规模、可复现的机器人策略开发提供了可靠解决方案。

实际应用

在实际应用层面，Genie Sim 3.0数据集为机器人技术的产业化落地提供了有力支撑。其合成数据生成与自动化评估管道能够加速家庭服务、工业装配、物流分拣等场景中机器人系统的开发周期。例如，在复杂家居环境中，平台可快速生成大量物品整理、桌面清洁等长视界任务场景，用于训练机器人理解自然语言指令并执行精确操作。同时，其闭环评估框架支持对多种机器人本体（如Genie G1/G2）和末端执行器进行多维性能诊断，帮助工程师在部署前预测模型在实际环境中的行为边界，显著降低硬件测试成本与迭代风险。

数据集最近研究

最新研究方向

在具身智能与机器人操作领域，高保真仿真平台与大规模合成数据集正成为推动视觉-语言-动作模型发展的核心基础设施。Genie Sim 3.0数据集凭借其超过一万小时的合成交互数据与十万余评估场景，为模型训练与评估提供了前所未有的规模与多样性。其前沿研究方向聚焦于大语言模型驱动的场景生成与自动化评估，通过自然语言指令实时构建高保真仿真环境，并利用视觉-语言模型建立自动化评估管道，显著降低了数据采集与模型迭代的成本。该平台通过系统化的领域随机化与闭环评估机制，有效验证了仿真到现实迁移的鲁棒性，为零样本泛化提供了可靠基础，正在重塑机器人学习的数据范式与评估标准。

相关研究论文

• Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

  AgibotTech · 2026年