RynnWorld-Teleop

RynnWorld-Teleop是由阿里巴巴达摩院等机构创建的机器人数字遥操作数据集，旨在通过生成式世界模型替代物理机器人，实现高效、可扩展的机器人数据采集。该数据集包含基于深度感知骨骼表示的动作序列和对应的机器人视角视频，数据来源于大规模人类自我中心视频数据集（如VITRA和EgoDex）以及真实机器人数据，通过渐进式跨域训练和流式自回归蒸馏技术构建。该数据集主要应用于机器人模仿学习领域，通过生成高保真的状态-动作轨迹数据，解决物理遥操作中数据采集受硬件限制、成本高昂的问题，并支持零样本仿真到现实的迁移。

RynnWorld-Teleop is a robotic digital teleoperation dataset developed by institutions including Alibaba DAMO Academy. It aims to replace physical robots with generative world models to enable efficient and scalable robotic data collection. This dataset contains action sequences based on depth-aware skeletal representations and corresponding robot-centric videos. The data is sourced from large-scale human egocentric video datasets (e.g., VITRA and EgoDex) and real robotic data, and is constructed via progressive cross-domain training and streaming autoregressive distillation techniques. This dataset is primarily applied in the field of robotic imitation learning, where it generates high-fidelity state-action trajectory data to address the issues of hardware-limited data collection and high costs in physical teleoperation, and supports zero-shot sim-to-real transfer.

原始信息汇总

数据集概述

RynnWorld-Teleop 是一个以机器人为中心的生成式世界模型，旨在实现数字远程操作（Digital Teleoperation）范式。它将数据收集与物理硬件限制解耦，通过将操作员的实时手部姿态流转换为从单张参考图像生成的高保真度第一人称机器人视频，从而在纯虚拟环境中扩展专家轨迹。

🌟 关键特性

• 深度感知动作表示（Depth-Aware Action Representation）：
  通过渲染带有深度调制颜色和直径的21关节手部骨骼，在2D潜在条件信号中提供明确的几何基础，解决3D空间模糊性。

• 渐进式跨域训练（Progressive Cross-Domain Training）：
  采用两阶段课程：先从大量第一人称人类视频中吸收操作先验，再通过成对遥操作数据适应特定的机器人实体。

• 自回归流式蒸馏（Streaming Autoregressive Distillation）：
  将双向教师模型蒸馏为因果学生模型，实现每秒39帧的交互式生成，使人类操作员保持响应式闭环控制。

动作条件视频合成

支持多种人类动作条件下的视频生成示例，包括：

• 堆叠与拆解四极板、乐高积木
• 物体上色、取放冰块
• 基础折叠、键盘打字
• 将圆形物体放入面粉碗中、从塑料容器中拿起矩形物体
• 用刀切胡萝卜、用木铲翻炒平底锅食物
• 用真空吸尘器软管清扫地板
• 将生菜叶放在生菜头顶部、拧开酒瓶盖

动作条件下机器人特定视频合成

支持面向机器人实体的视频生成，示例动作包括：

• 双手从桌上举起物体、清洁桌面
• 放置盖子、拾取物体并放在桌上、逐一堆叠碗

零样本 Sim2Real 策略迁移

支持在以下任务上进行零样本仿真到现实（Sim2Real）的策略迁移：

• 双手抓取（Dual Picking）
• 推方块（Block Pushing）
• 双手提起（Bimanual Lifting）
• 盖子放置（Lid Placement）

引用信息

@article{RynnWorld-Teleop, title = {RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation}, author = {Haoyu Zhao and Xingyue Zhao and Hangyu Li and Biao Gong and Kehan Li and Siteng Huang and Xin Li and Deli Zhao and Zhongyu Li}, year = {2026} }

搜集汇总

数据集介绍

构建方式

RynnWorld-Teleop的构建始于一套全新的数字遥操作范式，旨在将机器人数据收集从物理束缚中解放出来。该系统以操作者的实时手部姿态流为核心，通过深度感知的骨骼渲染技术，将21个关节点的手部姿态编码为包含三维空间线索的二维控制信号。随后，该信号被注入一个基于视频扩散Transformer（DiT）的生成式世界模型中。模型采用渐进式跨域训练策略：首先在海量自我中心人类视频上预训练以习得精细操作先验，再利用配对的人-机器人数据微调以跨越具身鸿沟。最终，通过流式自回归蒸馏技术将双向教师模型压缩为因果学生模型，实现单次推理，在单个H100 GPU上达到40帧/秒以上的实时交互式视频生成。

特点

该数据集的核心特点在于其开创性的数字遥操作范式，彻底解耦了数据收集与物理硬件。其深度感知的动作表征通过颜色与尺寸随相机距离动态变化的骨骼渲染，在二维投影中保留了丰富的三维空间信息，使生成视频能够精确模拟手-物交互。同时，模型具备零资产开销的泛化能力，仅凭单张参考图像即可隐式实例化任意操作场景，并生成与真实世界像素分布无缝对齐的高保真视频。更重要的是，生成数据与下游模仿学习策略完全兼容，其视觉特征分布经t-SNE分析显示与真实数据高度重叠，为策略训练提供了物理可信的轨迹。

使用方法

RynnWorld-Teleop的使用遵循一个端到端的流水线。用户首先通过穿戴式动作捕捉设备采集手部姿态流，并将其渲染为深度感知骨骼序列。随后，提供一张目标场景的参考图像，模型即以此为条件，结合姿态序列实时生成对应的机器人第一视角执行视频。同时，操作者的手势通过逆运动学重定向为具体机器人（如双臂灵巧手）的关节动作向量。生成过程中采用分块重锚定策略，每81帧利用真实帧重新初始化，以抑制长程漂移。最终获得完美同步的视觉观察与机器人动作轨迹，这些轨迹可直接用于训练Diffusion Policy、π0等主流模仿学习策略，显著提升真实世界的操作成功率。

背景与挑战

背景概述

RynnWorld-Teleop由阿里巴巴达摩院与香港具身智能实验室等机构的研究人员于2026年提出，其核心研究问题在于如何突破传统物理遥操作中数据采集受限于硬件设备与固定工作空间的瓶颈。该数据集依托数字遥操作这一全新范式，通过将操作员的手势流输入生成式世界模型，从单张参考图像合成高保真机器人第一视角视频，从而解耦数据收集与物理约束。这一创新性工作为机器人学习提供了可无限扩展的轨迹数据源，在具身智能领域具有里程碑意义，为大规模策略训练开辟了全新路径。

当前挑战

该数据集面临的挑战涉及多个层面。在领域问题层面，传统遥操作受困于操作员时间与硬件资源的绑定，导致数据规模受限且难以覆盖长尾交互分布；同时，现有世界模型多为人类中心视角，无法直接生成机器人执行的视频与对应的动作标签。在构建过程中，团队需解决三大技术难题：如何通过深度感知骨骼表征在二维投影中注入三维空间线索，如何借助渐进式跨域训练将人类操作先验迁移至机器人具身，以及如何通过自回归蒸馏实现40帧每秒以上的实时交互生成以支持闭环操作。

常用场景

经典使用场景

在具身智能与机器人学习的研究版图中，高质量、大规模的动作-视觉配对数据是驱动策略模型突破性能瓶颈的核心燃料。然而传统物理遥操作受制于硬件成本、场景固定和人力密集的固有局限，数据采集的规模与多样性始终难以与算法需求相匹配。RynnWorld-Teleop 提出了一种颠覆性的数字遥操作范式，将物理机器人替换为生成式世界模型，使操作者只需通过手部姿态流即可在单张参考图像上合成高保真机器人第一视角视频。这一数据集最经典的使用场景在于作为大规模、低成本、硬件无关的机器人训练数据引擎，为模仿学习与视觉-语言-动作模型提供无限生成的同步状态-动作轨迹，突破物理采集的瓶颈。

解决学术问题

当前机器人学习研究面临的核心矛盾在于算法对海量、多样化数据的需求与现实世界中数据采集成本极高之间的鸿沟。RynnWorld-Teleop 从根本上解决了数据稀缺这一长期困扰学界的瓶颈问题。它通过深度感知骨骼表征与渐进式跨域训练策略，首次实现了将大规模人类第一视角视频中的操作先验无缝迁移至具体机器人形态，弥合了视觉与动作两个领域的鸿沟。更重要的是，该数据集证明了纯由生成数据训练的策略能够零样本迁移至真实机器人，且将生成数据与真实数据混合训练可显著提升任务成功率。这一发现为“生成式数据引擎替代部分物理采集”提供了坚实的实证基础，推动了机器人学习范式从“硬件资源驱动”向“想象驱动”的转变。

衍生相关工作

RynnWorld-Teleop 的提出催生了一系列富有启发性的后续研究方向。在其基础上，学术界可进一步探索跨形态基础世界模型的构建，即通过将机器人运动学描述作为条件，实现单一世界模型对不同机器人构型的统一生成，从而彻底消除每台机器人需要独立微调的成本。此外，该工作开创的数字遥操作框架也为“人类-机器人数据对齐”及“人机协作闭环模拟”提供了新的技术支点，推动基于视频扩散的交互式模拟器向更高物理真实性与更细粒度控制力发展。随着该数据集和框架的开源，研究者可在其基础上开展视觉-语言-动作联合预训练、多任务长时域策略蒸馏、以及基于生成数据的域随机化与对抗训练等经典工作。