UniSkill

UniSkill是一个用于从大规模跨形态视频中学习跨形态技能表示的通用技能表示学习方法。该方法通过去除对标签或任何形式的对齐约束的需求，使得机器人能够通过观察人类演示来学习新技能。数据集包括来自人类和机器人的大量视频，涵盖了各种形态和任务。该方法通过学习时间上相隔较远的视频帧之间的动态变化，提取可重用、形态无关的运动模式。这些技能表示可以在不同的形态之间共享，使得机器人能够模仿人类演示，无需额外的语言指导或其他形式的支持。

UniSkill is a general skill representation learning method for acquiring cross-modal skill representations from large-scale cross-modal videos. This method eliminates the requirement for labels or any form of alignment constraints, enabling robots to learn new skills by observing human demonstrations. The dataset contains a large volume of videos sourced from both humans and robots, covering diverse modalities and tasks. It extracts reusable, modality-agnostic motion patterns by learning dynamic variations between temporally distant video frames. These skill representations can be shared across different modalities, allowing robots to imitate human demonstrations without additional linguistic guidance or other forms of support.

原始信息汇总

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

基本信息

• 作者: Hanjung Kim*, Jaehyun Kang*, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee (*Equal contribution)
• 机构: Yonsei University
• 论文状态: preprint
• 论文链接: arXiv
• 代码链接: Code

摘要

UniSkill是一个从大规模、无标注、跨具身视频数据中学习具身无关技能表示的框架。这些表示使得仅在机器人数据上训练的机器人策略能够模仿人类视频提示中的技能，并支持灵活的子目标生成，无论演示的具身形式如何。

框架概述

UniSkill的核心组件包括：

• 逆向技能动力学 (ISD): 捕捉和提取帧之间有意义的运动模式，表示视频序列中展示的核心技能。
• 正向技能动力学 (FSD): 利用ISD提供的技能表示预测未来帧，有效预测技能随时间展开的方式。

通过使用这些学习到的技能表示在机器人数据上训练技能条件策略，UniSkill实现了具身无关的技能学习，从而促进不同机器人和人类具身之间的策略迁移。

实验

跨具身技能表示的模仿视频

• 表台基准测试: UniSkill成功模仿了人类演示视频中的任务。
• 厨房基准测试: UniSkill成功模仿了Anubis（训练中未见的不同具身机器人）的提示。

技能表示泛化

• 未见任务: 仅在单个任务上训练的UniSkill成功执行了任务组合（即未见任务）。
• 场景泛化: 在修改背景和对象的提示视频中，UniSkill继续成功。

基于技能的未来帧预测

• 子目标生成: 使用FSD生成子目标图像，帮助弥合视觉差距并提高性能。
• 与LAPA的比较: UniSkill在预测未来帧时产生更清晰和准确的图像。

视频展示

跨具身模仿

• 机器人提示: Pull out the tissue
  • GCBC: Success
  • XSkill: Fail (Stuck)
  • UniSkill: Success
• 人类提示: Pull out the tissue
  • GCBC: Fail (Different Task)
  • XSkill: Fail (Stuck)
  • UniSkill: Success

技能组合

• 机器人到机器人: Task A-B → Task A-B-C → Task A-B-C-D
• 人类到机器人: Task A-B

BibTeX

bibtex @article{kim2025uniskillimitatinghumanvideos, title={UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations}, author={Hanjung Kim and Jaehyun Kang and Hyolim Kang and Meedeum Cho and Seon Joo Kim and Youngwoon Lee}, journal = {arXiv preprint arXiv:2505.08787}, year={2025}, }

搜集汇总

数据集介绍

构建方式

UniSkill数据集的构建采用了跨实体技能表示学习框架，通过整合大规模无标注视频数据实现。研究团队从人类视频（如Something-Something V2、H2O）和机器人视频（如DROID、Bridge V2、LIBERO）中提取动态信息，利用逆向技能动力学模型（ISD）和正向技能动力学模型（FSD）共同训练。其中ISD通过分析时间跨度k的帧间动态变化生成技能表示，FSD则基于当前帧和技能表示预测未来帧，形成闭环监督。这种设计突破了传统方法对场景对齐或语义标注的依赖，通过深度估计模块和扩散式图像编辑技术，有效剥离了实体特异性特征，实现了纯视觉输入的动态模式编码。

使用方法

使用流程分为三阶段：首先通过预训练的ISD模型从提示视频（人类或机器人）中提取技能序列，每20帧生成一个技能嵌入；随后将嵌入输入到技能条件策略网络，该网络采用扩散策略架构，在机器人专用数据（如DROID）上微调后，可基于当前观测和技能嵌入预测动作轨迹；最终执行阶段采用开环控制，每8步动作执行后更新技能条件。对于未知实体视频，系统通过数据增强模拟域差异，提升策略的泛化能力。实验表明该方法在厨房任务中跨实体模仿成功率可达87%，且支持LIBERO仿真环境中48%的零样本人类视频迁移。

背景与挑战

背景概述

UniSkill数据集由延世大学的研究团队于2025年提出，旨在解决机器人通过观察人类视频学习跨具身技能表示的核心问题。该数据集通过构建大规模跨具身视频数据，突破了传统方法对场景对齐和标注数据的依赖，为机器人模仿学习领域提供了新的研究范式。其创新性地提出基于动态建模的无监督技能表示学习方法，显著提升了从人类视频到机器人策略的知识迁移效率，对促进具身智能的发展具有重要理论价值和应用意义。

当前挑战

UniSkill面临两大核心挑战：在领域问题层面，需解决人类与机器人形态差异导致的视觉外观与物理能力不匹配问题，传统方法依赖成对数据或语义标签的局限性制约了模型的可扩展性；在构建过程层面，数据采集需处理非对齐跨具身视频的时空动态建模难题，包括视角突变、执行速度差异等复杂因素，同时要确保技能表示的具身无关性和动作可迁移性。

常用场景

经典使用场景

UniSkill数据集在机器人模仿学习领域具有广泛的应用价值，特别是在跨具身技能表示学习方面。该数据集通过整合大规模的人类和机器人视频数据，为研究人员提供了一个丰富的资源库，用于训练和评估跨具身技能表示模型。其经典使用场景包括从人类视频中提取技能表示，并将其迁移到机器人策略中，从而实现机器人对人类行为的模仿。这一过程不仅涵盖了简单的桌面任务，如推拉物体和开关垃圾桶，还扩展到复杂的厨房任务，如操作水龙头和放置食材。

解决学术问题

UniSkill数据集解决了机器人模仿学习中的几个关键学术问题。首先，它通过无监督学习的方式，消除了对标注数据或对齐约束的依赖，从而显著提高了数据利用效率。其次，该数据集通过跨具身技能表示学习，有效弥合了人类与机器人在视觉外观和物理能力上的差异，使得机器人能够从人类视频中学习并执行任务。此外，UniSkill还解决了传统方法在数据收集上的局限性，例如多视角摄像头设置和场景对齐要求，从而为大规模、多样化的视频数据应用提供了新的可能性。

实际应用

UniSkill数据集在实际应用中表现出色，特别是在机器人任务执行和跨具身模仿方面。例如，在家庭服务机器人领域，该数据集可以用于训练机器人执行日常家务任务，如整理物品或操作厨房设备。在工业自动化中，UniSkill能够帮助机器人从人类操作员的演示中学习复杂的装配或搬运任务。此外，该数据集还适用于医疗机器人领域，通过模仿人类医生的操作，提高手术机器人的精确性和灵活性。这些应用不仅提升了机器人的自主性，还降低了训练成本和时间。

数据集最近研究

最新研究方向

在机器人学习领域，模仿人类行为以实现跨形态技能迁移已成为前沿研究方向。UniSkill数据集通过大规模跨形态视频数据学习无标签的技能表示，实现了从人类视频到机器人策略的有效迁移。该研究突破了传统方法对场景对齐和标注数据的依赖，利用动态建模技术提取与形态无关的运动模式，显著提升了机器人对未见过视频提示的适应能力。这一突破性进展为机器人模仿学习提供了可扩展的解决方案，推动了跨形态技能迁移在实际应用中的发展。

相关研究论文

• UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

  延世大学 · 2025年