awesome-UMI-Papers

这是一个精心整理的资源列表，涵盖通用操纵接口（UMI）及UMI风格的论文、数据集、代码和硬件，专注于将野外的人类演示转化为机器人可用的监督数据，用于机器人无机器人操作演示和策略学习。

This is a meticulously curated list of resources covering the Universal Manipulation Interface (UMI) and UMI-style publications, datasets, code bases, and hardware. It focuses on converting human demonstrations collected in unconstrained real-world environments (i.e., "in the wild") into supervised data compatible with robotic systems for robotic operation and policy learning without requiring on-robot demonstrations.

原始信息汇总

数据集详情总结：Awesome Universal Manipulation Interface (UMI)

该页面是一个关于 通用操作接口 (Universal Manipulation Interface, UMI) 的论文集、数据集、代码和硬件资源索引，专注于将野外人类演示转化为机器人可直接使用的监督信号。

核心概念与挑战

• UMI: 核心方法，实现在无需现场机器人的情况下进行机器人教学（RSS 2024）。
• 挑战: 例如 Maniskill ViTac Challenge 2026，专注于触觉和力反馈的数据集。

研究方向与代表性工作

1. 接口、跟踪与感知

• UMI-3D: 将UMI从视觉受限扩展到3D空间感知。
• UMIGen: 统一框架，用于自我中心点云生成和跨具身模仿学习。
• ActiveUMI: 利用主动感知的机器人操作。
• MV-UMI: 可扩展的多视角接口，用于跨具身学习。
• FastUMI: 可扩展、硬件无关的UMI，附带数据集（CoRL 2025）。

2. 触觉、力与灵巧操作

• DEX-Mouse: 低成本的便携式灵巧手数据收集接口，带有力反馈。
• OmniUMI: 通过多模态人机对齐实现物理接地机器人学习。
• TacUMI: 多模态UMI，用于接触密集型任务。
• UMI-FT: 野外顺应性操作。
• TacThru-UMI: 同时进行触觉-视觉感知的多模态机器人操作学习（RA-L 2026）。
• DexUMI: 利用人手作为灵巧操作的通用接口（CoRL 2025）。
• exUMI: 可扩展的机器人教学系统，具有动作感知、任务无关的触觉表示（CoRL 2025）。

3. 跨具身部署

• UMI-Underwater: 无需水下遥操作的水下操作学习。
• HoMMI: 从人类演示学习全身移动操作。
• HuMI: 从无机器人演示中学习人形机器人全身操作。
• UMI-on-Air: 具身感知引导，用于具身无关的视觉运动策略。
• UMI-on-Legs: 通过以操作为中心的全身体控制器使操作策略移动化（CoRL 2024）。

4. 策略学习

• RDT2: 探索UMI数据的规模化极限，实现零样本跨具身泛化。
• TouchGuide: 通过触觉引导实现视觉运动策略的推理时转向。
• pi0: 通用机器人控制的视觉-语言-动作流模型。
• Diffusion Policy: 通过动作扩散进行视觉运动策略学习（RSS 2023）。

5. 数据集与基准

• UMI Robot Dataset Community: UMI风格机器人数据集的社区索引。
• FastUMI-100K: 大规模UMI风格的数据集。
• GenRobot-10Kh: 大规模野外UMI数据集。
• DROID: 大规模野外机器人操作数据集。
• Open X-Embodiment: 大型跨具身机器人数据集和基准。

资源与工具

• 硬件: 包括开源的电机驱动UMI兼容夹爪 (Actuated UMI Gripper) 和农业应用中的低成本硬件平台。
• 跟踪与标定: ORB-SLAM3 UMI Fork，作为原始UMI代码库的SLAM后端。

搜集汇总

背景与挑战

背景概述

该数据集是一个精选资源列表，专注于通用操作接口（UMI）及相关技术，旨在收集野外人类演示数据以训练机器人策略。它汇总了论文、数据集、代码和硬件等多种资源，涵盖接口设计、触觉感知、跨具身部署等关键领域，为机器人模仿学习和策略开发提供全面支持。