UMI-Benchmark-v1

UMI-Benchmark-v1 是一个真实世界机器人操作数据集，包含20,000个操作会话，覆盖10个不同的任务，其中4个为单臂任务，6个为双臂任务。数据集旨在为机器人学习、模仿学习和操作研究提供大规模、多样化的真实数据。每个任务都有具体的名称和标识文件夹，例如单臂任务包括“堆叠篮子”、“垃圾袋处理”、“盖章墨水”和“遥控器存放”，双臂任务包括“倒豆子”、“打包搬运”、“转盘拾取”、“麻将排序”、“厨房重排”和“裤子折叠”。每个任务进一步细分为多个场景（如不同颜色或物体组合），每个场景包含数百个会话，详细会话数量在README中列出。数据以 tar 分片形式组织存储在 data/ 目录下，按任务和场景分层，其中 dual_arm_task1 任务例外地按顺序会话分片存储。元数据文件（如 scene_mapping.csv、chunk_manifest.csv、all_sessions.csv 等）提供了场景映射、分片清单、会话路径和校验信息，便于数据索引和验证。该数据集适用于机器人操控、模仿学习算法开发和真实环境下的任务泛化研究。UMI-Benchmark-v1 is a real-world robot manipulation dataset containing 20,000 operation sessions, covering 10 different tasks, including 4 single-arm tasks and 6 dual-arm tasks. The dataset aims to provide large-scale, diverse real-world data for robot learning, imitation learning, and manipulation research. Each task has specific names and identifier folders, for example, single-arm tasks include stacking baskets, garbage bag handling, stamp ink, and remote control storage, while dual-arm tasks include pouring beans, packing and moving, turntable picking, mahjong sorting, kitchen rearrangement, and pants folding. Each task is further subdivided into multiple scenes (such as different colors or object combinations), with each scene containing hundreds of sessions, and the detailed session counts are listed in the README. The data is organized into tar shards stored in the data/ directory, layered by task and scene, with the dual_arm_task1 task being an exception stored in sequential session shards. Metadata files (such as scene_mapping.csv, chunk_manifest.csv, all_sessions.csv, etc.) provide scene mapping, shard manifests, session paths, and verification information, facilitating data indexing and validation. This dataset is suitable for robot manipulation, imitation learning algorithm development, and task generalization research in real-world environments.

原始信息汇总

UMI-Benchmark-v1 数据集概述

数据集名称：UMI-Benchmark-v1
语言：英语
标签：机器人学、机器人学习、模仿学习、操作任务

数据集规模

UMI-Benchmark-v1 包含 20,000 个真实世界机器人操作会话（sessions），涵盖 10 个任务：

类别	任务数量	会话数量
单臂任务	4	9,988
双臂任务	6	10,012
总计	10	20,000

任务列表

ID	文件夹	类型	任务名称	会话数
T1	single_arm_task1	单臂	Stack Baskets（叠篮子）	3,000
T2	single_arm_task2	单臂	Trash Bag（垃圾袋）	1,991
T3	single_arm_task3	单臂	Stamp Ink（盖章）	2,996
T4	single_arm_task4	单臂	Remote Storage（遥控器收纳）	2,001
T5	dual_arm_task1	双臂	Pour Beans（倒豆子）	1,600
T6	dual_arm_task2	双臂	Pack & Carry（打包搬运）	1,600
T7	dual_arm_task3	双臂	Turntable Pick（转盘拾取）	2,012
T8	dual_arm_task4	双臂	Mahjong Sort（麻将分类）	1,600
T9	dual_arm_task5	双臂	Kitchen Rearrange（厨房整理）	1,600
T10	dual_arm_task6	双臂	Pants Folding（叠裤子）	1,600

场景细分

每个任务包含多个场景变体，具体会话分布如下：

• T1 Stack Baskets：Blue Baskets（985）、Red Baskets（1,000）、Orange Baskets（1,015）
• T2 Trash Bag：White Garbage Bag（486）、Purple Garbage Bag（497）、Green Garbage Bag（500）、Blue Garbage Bag（508）
• T3 Stamp Ink：6种场景组合（纸张颜色×墨水颜色），会话数从482到518不等
• T4 Remote Storage：2款遥控器（A/B）×2款收纳架（A/B），会话数489-511
• T5-T10 双臂任务：每个任务包含4个场景（2种物体×2种场景布局），每场景会话数约387-514

数据文件结构

数据以 tar 分片（shards） 形式存储，按任务文件夹组织：

data/ single_arm_task1/ single_arm_task2/ ... dual_arm_task6/

• 多数任务按场景分片，例如：data/dual_arm_task2/T6_Green_Ball_Scene_A/T6_Green_Ball_Scene_A_chunk_000.tar
• 特例：dual_arm_task1（倒豆子）存储为16个连续会话分片：session_chunk_000.tar ～ session_chunk_015.tar

元数据文件

每个任务在 metadata/ 文件夹下提供轻量级索引和校验文件，包含：

文件	说明
scene_mapping.csv	场景名称、会话数及对应数据子目录
chunk_manifest.csv	tar分片路径、每片会话数及首末会话
all_sessions.csv	每个会话的场景归属及相对路径
sha256.txt	tar分片的SHA-256校验和
sizes.txt	tar分片的人类可读大小
sizes_bytes.txt	tar分片的字节大小
lists/	构建每个tar分片所用的会话路径列表

注：dual_arm_task1 的元数据仅包含 sha256.txt、sizes.txt 和 sizes_bytes.txt。

注意事项

每个 tar 分片包含完整的会话文件夹。下载后应使用校验和文件验证分片传输的完整性。

搜集汇总

数据集介绍

构建方式

UMI-Benchmark-v1数据集通过在实际机器人平台上执行多种操作任务进行构建，涵盖了从单臂到双臂的10项任务，总计20,000次真实世界机器人操作会话。数据以tar分片形式存储于各任务目录下，每个分片包含完整的会话文件夹。任务根据场景进一步细分，例如单臂任务中的“堆叠篮子”包含三种颜色篮子场景，双臂任务中的“倒豆子”则涉及不同豆类与场景组合。数据构建过程中，每个任务的会话数量在1,600至3,000之间不等，确保了场景多样性与数据规模的平衡。

使用方法

用户可通过下载各任务的tar分片数据，并按场景或会话组织路径进行访问。元数据中的scene_mapping.csv和chunk_manifest.csv文件帮助定位特定场景或分片，而all_sessions.csv提供每个会话的场景归属与源路径。对于通用任务（如dual_arm_task1），数据以连续会话分片存储，需按顺序使用。建议下载后利用sha256.txt校验和文件验证数据完整性，确保无误后再进行后续训练或评估。

背景与挑战

背景概述

UMI-Benchmark-v1数据集由机器人学习领域的研究团队于近期创建，旨在为模仿学习与灵巧操作任务提供大规模真实世界基准。该数据集聚焦于双臂协同与单臂精细操作的核心研究问题，涵盖10项任务共计20,000次真实机器人操作会话，为评估操作策略的泛化性与鲁棒性提供了标准化平台。其影响力体现在填补了双臂操作数据集稀缺的空白，推动了从单任务学习向多任务、多场景泛化的范式转变，尤其为基于视觉的模仿学习算法提供了丰富的高保真训练素材。

当前挑战

领域挑战在于机器人操作任务固有的高维状态空间与复杂物理交互，例如双臂任务中的动态协调（如倾倒豆子、折叠裤子）及长时域操作（如厨房整理）的时序依赖。数据集构建面临的三重挑战：其一，需在有限样本内覆盖多场景变体（如不同颜色篮子、豆子种类），避免过拟合；其二，双臂任务的同步数据采集与标定难度远高于单臂任务；其三，大规模真实世界数据一致性维护（如传感器校准、任务执行标准化）及shard存储架构下的元数据管理，确保可复现性。

常用场景

经典使用场景

UMI-Benchmark-v1是机器人操控领域中一项极具代表性的基准数据集，囊括了20,000次真实世界的机器人操作会话，覆盖了4项单臂任务与6项双臂任务。其经典使用场景聚焦于模仿学习算法的训练与评估，研究者通过调用数据集中结构化的轨迹片段与场景元数据，可系统性地检验模型在复杂物理交互中的泛化能力。单臂任务如叠放篮子、印章蘸墨等考验精细运动控制，而双臂任务如倾倒豆子、折叠裤子等则涉及协调与空间推理，为多模态策略学习提供了标准化测试平台。该数据集以分片压缩格式存储，附带校验文件与场景映射表，极大便利了大规模分布式训练与重复性验证，成为衡量机器人操作模型性能的黄金标准。

解决学术问题

该数据集精准攻克了机器人学习领域长期存在的两大学术瓶颈：双臂协同操作的高维状态空间建模与跨场景泛化能力的量化评估。传统单臂数据集难以支撑对夹爪间力交互、时序耦合等关键问题的探索，而UMI-Benchmark-v1通过精心设计的6项双臂任务填补了这一空白，使研究者能够深入剖析双臂协作中的运动规划与自适应控制机制。此外，每项任务均包含多样化场景变体——如不同颜色篮子、多类印章组合——这为评估算法对视觉与结构扰动的鲁棒性提供了严谨的实验范式。这些特性推动了对行为克隆与因果推理方法的系统性比较，显著加速了从实验室演示到通用操作策略的理论跨越。

实际应用

在实际工业与家庭服务场景中，UMI-Benchmark-v1所验证的操作策略展现出广阔的转化潜力。单臂任务如垃圾袋处理与遥控器收纳可直接衍生至仓储物流中的物料分拣系统，双臂任务如厨房器具整理与裤子折叠则为家政机器人提供经过验证的行为先验。研究机构与机器人企业可利用该数据集的场景灵活性，对视觉伺服、阻抗控制等底层模块进行快速原型测试，降低真实环境部署的风险与成本。特别是数据集内嵌的元数据索引机制，允许下游开发者以轻量级方式检索特定任务片段，从而高效构建定制化策略库，推动机器人从固定产线向动态家庭场景的适应性进化。

数据集最近研究

最新研究方向

UMI-Benchmark-v1作为大规模真实世界机器人操作数据集，其核心研究方向聚焦于多任务模仿学习的泛化性与双臂协同操作的精细化建模。在具身智能与机器人操作领域，该数据集通过涵盖堆叠篮子、叠衣、麻将分类等10项高度差异化的日常任务，为算法在视觉-运动耦合、频繁动态场景切换及双臂协调策略中实现鲁棒的行为克隆提供了广阔的试验场。近期，前沿工作倾向于借助UMI-Benchmark-v1的多场景多物品分布，探索基于Transformer的扩散决策模型与分层强化学习在复杂操作流程中的零样本适应能力，特别是在应对物体颜色变化、布局异构等干扰因素时，以推动机器人从实验室向家居、仓储等非结构化环境的实质性迁移，标志着具身智能泛化研究迈向了更逼近真实世界复杂度的评价标尺。