Full-Stack-Entity/Robotwin-demo-clean-50-artifacts

这个仓库存放的是一次RoboTwin单任务闭环实验的关键结果产物，而不是官方完整数据集。实验完整跑通了从任务程序生成专家轨迹到策略重新部署并评测的整个链路。关键结果显示，在同分布（demo_clean -> demo_clean）下的成功率为0.64，而在跨配置（demo_clean -> demo_randomized）下的成功率为0.0。实验体现了RoboTwin作为具身智能实验工程流水线的价值，包括环境层、专家层、数据层、训练层、部署层和评测层的严格流程。This repository contains the key results of a RoboTwin single-task closed-loop experiment, not the official complete dataset. The experiment fully executed the entire pipeline from generating expert trajectories with the official task program to redeploying the policy and evaluating it. Key results show a success rate of 0.64 in the same distribution (demo_clean -> demo_clean) and 0.0 in the cross-configuration (demo_clean -> demo_randomized). The experiment highlights the value of RoboTwin as a rigorous engineering pipeline for embodied AI experiments, including strict processes at the environment, expert, data, training, deployment, and evaluation layers.

搜集汇总

数据集介绍

构建方式

Robotwin-demo-clean-50-artifacts 数据集源于 RoboTwin 单任务闭环实验的核心产物，其构建遵循一条完整的工程流水线。首先，通过 RoboTwin 官方任务程序自动生成专家轨迹，并将原始轨迹落盘为 raw data。随后，对原始数据进行 ACT 预处理，转化为可直接用于训练的数据格式。在完成 ACT 模型训练后，将训练好的策略重新部署回 RoboTwin 环境，并在同分布（demo_clean -> demo_clean）与跨配置（demo_clean -> demo_randomized）两种设定下进行正式评测，最终产出包含评测结果与 100 个 rollout 视频的 artifacts。

特点

本数据集的核心特点在于其并非官方完整数据集，而是单次闭环实验的关键结果产物，聚焦于具身智能领域中的双臂操作任务评估。它完整呈现了从数据生成、模型训练到策略部署与评测的严格工程流水线，体现了 RoboTwin 将具身智能实验标准化的理念。数据集包含同分布与跨配置两种评测结果，其中同分布成功率为 0.64，而跨配置成功率为 0.0，这一鲜明对比凸显了 domain randomization 鲁棒性这一关键研究挑战，使数据集成为验证策略泛化能力的典型样本。

使用方法

使用本数据集时，研究者可访问其存储的 `same_distribution/` 与 `cross_configuration/` 目录，分别获取对应配置下的评测结果与 100 个 rollout 视频，用于分析策略在不同环境分布下的表现。`experiment_summary.json` 文件提供了实验的整体总结数据，便于快速了解关键指标。该数据集特别适合用于研究具身智能策略的泛化能力、评估 ACT 模型在 clean 与 randomized 环境下的行为差异，以及复现 RoboTwin 闭环实验流程中各环节的 artifacts 产出。

背景与挑战

背景概述

RoboTwin-demo-clean-50-artifacts 数据集诞生于具身智能与机器人操作领域快速发展的背景下，由 RoboTwin 项目团队构建，旨在为双臂精细操作任务提供标准化的评测基准与工程化实验验证。该数据集聚焦于 beat_block_hammer 这一典型双臂操作任务，通过完整的模拟到现实表征转化流程，涵盖从专家轨迹生成、数据预处理、策略训练到闭环部署评测的全链路。其核心研究问题在于检验模仿学习策略在相同分布与跨配置环境下的泛化能力，尤其是面对对象随机化时的鲁棒性。该数据集不仅为机器人学习社区提供了可复现的实验范式，更通过工程流水线的严格定义，推动具身智能研究从分散实验走向标准化评测。

当前挑战

该数据集面临的核心挑战在于解决模仿学习策略在领域迁移时的泛化失效问题，具体表现为在同分布环境中策略能达到 0.64 的成功率，但在随机化配置下成功率骤降至 0.0，揭示了当前策略对视觉与动力学随机化的极端脆弱性。构建过程中，团队需要克服从原始多模态轨迹到训练数据的复杂预处理难题，确保 ACT 算法能有效利用有限的高质量专家演示，同时设计统一的评测协议以消除环境噪声对结果的影响。此外，工程流水线的每一环节——任务定义、专家筛选、数据保真、训练收敛、部署一致性——都要求严格的容错机制，任何环节的偏差都会造成策略评测的不可靠，这构成了数据集持续维护与扩展的主要瓶颈。

常用场景

经典使用场景

在具身智能与机器人操作领域，RoboTwin-demo-clean-50-artifacts 数据集作为单任务闭环实验的典型产物，被广泛用于验证模仿学习算法在模拟环境中的有效性。其经典使用场景围绕双机械臂的精细操作任务——例如击打块与锤子（beat_block_hammer）——展开，研究者利用该数据集评估策略在同分布环境（demo_clean→demo_clean）下的表现，通过成功率、动作复现精度等指标衡量模型对专家轨迹的模仿能力。此外，该数据集也常用于对比不同配置下的泛化性能，即从干净配置迁移到随机化配置（demo_clean→demo_randomized），从而检验模型对视觉外观、物理参数等扰动因素的鲁棒性。这种设定使其成为探索模拟到现实迁移（Sim-to-Real）问题的理想测试床。

实际应用

在实际应用中，RoboTwin-demo-clean-50-artifacts 数据集扮演着具身智能系统研发测试平台的角色，尤其是在工业级双机械臂操作场景中。例如，在自动化装配、物料分拣或精密组装等任务里，机器人需要从示教演示中快速学习操作技能，并在目标配置（如光照变化、工件位置偏移）下保持稳定执行。该数据集提供的闭环实验产物——包括评测指标与rollout视频——为工程师提供了可量化的基准，用于筛选鲁棒性更强的策略模型。同时，跨配置失败案例也警示开发者，直接部署仅在同分布上训练的策略存在风险，需要在数据采集阶段注入更多随机化因素，或结合域随机化训练方法。这些洞察正被整合进机器人技能开发的实际工作流中。

衍生相关工作

该数据集衍生的相关工作主要集中在模仿学习算法的鲁棒性改进与评测体系构建两大方向。一方面，研究者借鉴其暴露的泛化失败模式，提出了增强型数据增强框架（如基于物理随机化的轨迹扰动方法），或探索结合视觉域自适应模块的策略架构，典型工作包括RoboTwin 2.0中强随机化环境与多样性数据的设计思想。另一方面，该数据集所体现的“环境-专家-数据-训练-部署-评测”六层闭环流水线，启发了后续如MetaWorld、LIBERO等基准平台对标准化评测协议的重构，促使社区开始统一不同任务下的成功率计算与视频记录规范。此外，一些工作也将该数据集作为零样本迁移学习或离线强化学习的对比基线，进一步拓展了其在具身智能研究中的影响范围。