RynnWorld-Teleop
收藏资源简介：
RynnWorld-Teleop是由阿里巴巴达摩院等机构创建的机器人数字遥操作数据集，旨在通过生成式世界模型替代物理机器人，实现高效、可扩展的机器人数据采集。该数据集包含基于深度感知骨骼表示的动作序列和对应的机器人视角视频，数据来源于大规模人类自我中心视频数据集（如VITRA和EgoDex）以及真实机器人数据，通过渐进式跨域训练和流式自回归蒸馏技术构建。该数据集主要应用于机器人模仿学习领域，通过生成高保真的状态-动作轨迹数据，解决物理遥操作中数据采集受硬件限制、成本高昂的问题，并支持零样本仿真到现实的迁移。
RynnWorld-Teleop is a robotic digital teleoperation dataset developed by institutions including Alibaba DAMO Academy. It aims to replace physical robots with generative world models to enable efficient and scalable robotic data collection. This dataset contains action sequences based on depth-aware skeletal representations and corresponding robot-centric videos. The data is sourced from large-scale human egocentric video datasets (e.g., VITRA and EgoDex) and real robotic data, and is constructed via progressive cross-domain training and streaming autoregressive distillation techniques. This dataset is primarily applied in the field of robotic imitation learning, where it generates high-fidelity state-action trajectory data to address the issues of hardware-limited data collection and high costs in physical teleoperation, and supports zero-shot sim-to-real transfer.
数据集概述
RynnWorld-Teleop 是一个以机器人为中心的生成式世界模型，旨在实现数字远程操作（Digital Teleoperation）范式。它将数据收集与物理硬件限制解耦，通过将操作员的实时手部姿态流转换为从单张参考图像生成的高保真度第一人称机器人视频，从而在纯虚拟环境中扩展专家轨迹。
🌟 关键特性
-
深度感知动作表示（Depth-Aware Action Representation）：
通过渲染带有深度调制颜色和直径的21关节手部骨骼，在2D潜在条件信号中提供明确的几何基础，解决3D空间模糊性。 -
渐进式跨域训练（Progressive Cross-Domain Training）：
采用两阶段课程：先从大量第一人称人类视频中吸收操作先验，再通过成对遥操作数据适应特定的机器人实体。 -
自回归流式蒸馏（Streaming Autoregressive Distillation）：
将双向教师模型蒸馏为因果学生模型，实现每秒39帧的交互式生成，使人类操作员保持响应式闭环控制。
动作条件视频合成
支持多种人类动作条件下的视频生成示例，包括：
- 堆叠与拆解四极板、乐高积木
- 物体上色、取放冰块
- 基础折叠、键盘打字
- 将圆形物体放入面粉碗中、从塑料容器中拿起矩形物体
- 用刀切胡萝卜、用木铲翻炒平底锅食物
- 用真空吸尘器软管清扫地板
- 将生菜叶放在生菜头顶部、拧开酒瓶盖
动作条件下机器人特定视频合成
支持面向机器人实体的视频生成，示例动作包括：
- 双手从桌上举起物体、清洁桌面
- 放置盖子、拾取物体并放在桌上、逐一堆叠碗
零样本 Sim2Real 策略迁移
支持在以下任务上进行零样本仿真到现实（Sim2Real）的策略迁移：
- 双手抓取（Dual Picking）
- 推方块（Block Pushing）
- 双手提起（Bimanual Lifting）
- 盖子放置（Lid Placement）
引用信息
@article{RynnWorld-Teleop, title = {RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation}, author = {Haoyu Zhao and Xingyue Zhao and Hangyu Li and Biao Gong and Kehan Li and Siteng Huang and Xin Li and Deli Zhao and Zhongyu Li}, year = {2026} }
