Kai0

KAI0数据集是一个专注于机器人手臂操作任务的数据集，特别针对衣物处理任务。它包含三个主要任务：FlattenFold（展开并折叠衣物）、HangCloth（挂衣物）和TeeShirtSort（T恤分类和整理）。数据集总计包含约181小时的实时世界场景数据，分为基础演示和DAgger恢复轨迹两部分。基础演示包含原始机器人手臂操作轨迹，而DAgger部分则包含通过迭代DAgger收集的恢复轨迹，旨在补充静态演示中缺失的失败恢复模式。数据集结构组织良好，每个任务目录下包含base和dagger子集，以及相关的视频、元数据和数据文件。数据集还提供了详细的加载和下载方法，支持不同版本的LeRobot库。文件格式和结构也有详细说明，包括info.json、Parquet文件格式和tasks.jsonl。

The KAI0 dataset is a robotic arm manipulation dataset specifically targeting cloth handling tasks. It encompasses three primary tasks: FlattenFold (flattening and folding garments), HangCloth (hanging garments), and TeeShirtSort (T-shirt classification and organization). The dataset totals approximately 181 hours of real-world scene data, split into two components: basic demonstrations and DAgger recovery trajectories. The basic demonstrations contain raw robotic arm manipulation trajectories, whereas the DAgger component comprises recovery trajectories collected via iterative DAgger, designed to supplement the missing failure recovery patterns in static demonstrations. The dataset is meticulously organized, with each task directory hosting the base and Dagger subsets, alongside associated videos, metadata, and data files. Comprehensive download and loading instructions are provided for the dataset, compatible with various versions of the LeRobot library. The file formats and structural specifications are also fully elaborated, covering info.json, Parquet file format, and tasks.jsonl.

原始信息汇总

KAI0 数据集概述

数据集基本信息

• 数据集名称: KAI0
• 发布者: OpenDriveLab-org
• 许可证: MIT
• 任务类别: 机器人学
• 相关标签: LeRobot
• 数据集地址: https://huggingface.co/datasets/OpenDriveLab-org/Kai0
• 研究博客: https://mmlab.hk/research/kai0

数据集简介

该数据集使用 LeRobot 创建，包含约 134小时 的真实世界场景数据，专注于衣物整理相关的机器人操作任务。

主要任务

数据集包含三个主要操作任务：

1. FlattenFold（铺平折叠）

• 任务类型: 单任务
• 初始状态: T恤被随机扔在桌子上，呈现随机的褶皱状态
• 操作任务: 操作机械臂展开衣物，然后将其折叠

2. HangCloth（悬挂衣物）

• 任务类型: 单任务
• 初始状态: 衣架随机放置，衣物随机放置在桌子上
• 操作任务: 操作机械臂将衣架穿过衣物，然后将其挂在杆子上

3. TeeShirtSort（T恤分类）

• 任务类型: 衣物分类与整理任务
• 初始状态: 从洗衣篮中随机挑选一件衣物
• 分类: 判断衣物是T恤还是衬衫
• 操作任务:
  • 如果是T恤，则折叠衣物
  • 如果是衬衫，则暴露衣领，然后将其推到桌子一侧

数据集统计

任务	Base (片段数/小时数)	DAgger (片段数/小时数)	总计 (片段数/小时数)
FlattenFold	3,055 / ~42小时	3,457 / ~13小时	6,512 / ~55小时
HangCloth	6,954 / ~61小时	686 / ~12小时	7,640 / ~73小时
TeeShirtSort	5,988 / ~31小时	769 / ~22小时	6,757 / ~53小时
总计	15,997 / ~134小时	4,912 / ~47小时	20,909 / ~181小时

数据集结构

文件夹层次结构

在每个任务目录下，数据被划分为两个子集：base 和 dagger。

• base: 包含机器人手臂执行衣物整理任务的原始演示轨迹。
• dagger: 包含通过迭代DAgger收集的在线策略恢复轨迹，旨在填充静态演示中缺失的故障恢复模式。

Kai0-data/ ├── FlattenFold/ │ ├── base/ │ └── dagger/ ├── HangCloth/ │ ├── base/ │ └── dagger/ ├── TeeShirtSort/ │ ├── base/ │ └── dagger/ └── README.md

数据文件详情

info.json 文件结构

包含数据集的基本元数据，如：

• codebase_version: 代码库版本 (v2.1)
• robot_type: 机器人类型 (agilex)
• 统计信息：总片段数、总帧数、总任务数、总视频数等
• 数据路径和视频路径模板
• 特征定义，包括多个相机视角的图像、观测状态、动作等

Parquet 文件格式

字段名	形状	含义
observation.state	[N, 14]	左臂 [:, :6], 右臂 [:, 7:13], 关节角度；左臂 [:, 6], 右臂 [:, 13], 夹爪开合范围
action	[N, 14]	左臂 [:, :6], 右臂 [:, 7:13], 关节角度；左臂 [:, 6], 右臂 [:, 13], 夹爪开合范围
timestamp	[N, 1]	自片段开始以来经过的时间（秒）
frame_index	[N, 1]	当前片段内的帧索引（从0开始）
episode_index	[N, 1]	该帧所属的片段索引
index	[N, 1]	数据集中所有帧的全局唯一索引
task_index	[N, 1]	标识正在执行的任务类型的索引

tasks.jsonl 文件

包含任务语言提示（自然语言指令），指定要执行的操作任务。每个条目将 task_index 映射到其对应的任务描述，可用于语言条件策略训练。

数据加载与下载

加载数据集

对于 LeRobot 版本 < 0.4.0

根据版本选择适当的导入方式：

• 版本 <= 0.1.0: from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
• 版本 > 0.1.0 且 < 0.4.0: from lerobot.datasets.lerobot_dataset import LeRobotDataset

对于 LeRobot 版本 >= 0.4.0

需要先将数据集从 v2.1 迁移到 v3.0，参见官方文档：Migrate the dataset from v2.1 to v3.0

下载数据集

Python 脚本

支持使用 huggingface_hub 或 datasets 库下载单个文件、特定文件夹或整个数据集。

终端 (CLI)

支持使用 hf 命令行工具下载数据。

已知待办事项

• 优势标签即将推出。
• 许可证和引用信息待填充。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，Kai0数据集通过LeRobot框架精心构建，涵盖了衣物处理等复杂场景。该数据集包含三个核心任务：FlattenFold、HangCloth和TeeShirtSort，每个任务均通过真实世界环境中的机械臂操作轨迹进行记录。数据采集过程分为基础演示与DAgger增强两部分，基础部分提供了初始状态下的标准操作序列，而DAgger部分则通过迭代策略收集了失败恢复模式下的轨迹，从而丰富了数据集的多样性与鲁棒性。总计超过20,000条轨迹，累计时长约181小时，确保了数据在时间和空间维度上的充分覆盖。

使用方法

利用Kai0数据集进行机器人学习研究时，用户可根据LeRobot版本选择相应的加载方式。对于0.4.0以下版本，直接通过LeRobotDataset类导入；对于新版本，则需先执行数据迁移至v3.0格式。数据集支持通过Hugging Face Hub进行灵活下载，既可获取单个文件或特定文件夹，也能加载完整数据集。在本地，数据按任务和子集（base与dagger）分层组织，用户可通过标准路径访问轨迹文件与视频资源，结合提供的元数据信息，轻松实现数据解析与模型训练流程的集成。

背景与挑战

背景概述

在机器人操作领域，处理非结构化物体如柔性纺织品一直是一项核心挑战，因其涉及复杂的物理交互与形变预测。Kai0数据集由OpenDriveLab等机构的研究团队创建，依托LeRobot框架构建，旨在为机器人衣物整理任务提供大规模、真实世界的示范数据。该数据集聚焦于三项具体任务：平整折叠、悬挂衣物以及T恤分类整理，共包含超过两万条示教轨迹，累计时长约181小时。其核心研究问题在于如何通过丰富的多视角视觉与状态动作数据，推动机器人从观察中学习复杂操作技能，进而提升在动态、非结构化环境中的自主决策与执行能力，对具身智能与家庭服务机器人的发展具有显著影响力。

当前挑战

Kai0数据集致力于解决机器人柔性物体操作这一领域难题，其挑战首先体现在任务本身的高维度与不确定性上。衣物作为高度可变形的物体，其状态空间极为庞大，且物理交互过程难以精确建模，这要求学习算法具备强大的泛化与适应能力。在数据集构建过程中，研究团队面临采集大规模真实世界数据的艰巨性，包括如何确保示教轨迹的多样性与质量，以及通过DAgger算法迭代收集失败恢复数据以弥补静态示范的不足。此外，处理多路高清视频流与机器人状态动作的高频同步数据，对存储、标注与计算基础设施提出了严峻考验。

常用场景

经典使用场景

在机器人操作与布料处理领域，Kai0数据集为研究双手机器人执行复杂布料操作任务提供了丰富的真实世界演示数据。该数据集最经典的使用场景是训练和评估机器人学习模型在衣物折叠、悬挂和分类等任务中的表现。通过包含超过134小时的现实场景记录，研究者能够利用这些数据开发模仿学习或强化学习算法，使机器人能够处理柔软、易变形的物体，模拟人类在家庭环境中的操作技能。

解决学术问题

Kai0数据集有效解决了机器人学中关于非刚性物体操作的若干核心学术问题。它提供了大规模、多视角的演示轨迹，有助于研究高维状态空间下的策略学习、跨任务泛化能力以及从演示中学习复杂序列动作的机制。数据集通过结合基础演示和DAgger收集的恢复轨迹，为处理现实世界中的分布偏移和失败恢复模式提供了实证基础，推动了模仿学习与交互式学习在机器人操作领域的理论进展与应用边界拓展。

实际应用

该数据集的实际应用场景紧密关联于家庭服务机器人和工业自动化领域。基于Kai0训练的模型可直接应用于智能洗衣辅助、服装整理自动化或物流分拣系统中对柔性物品的处理。例如，在老年护理或家政服务中，机器人可自主完成衣物折叠与悬挂任务；在电商仓库中，则可实现T恤与衬衫的自动识别与分类整理，提升作业效率并降低人力成本，体现了从实验室研究到现实部署的桥梁作用。

数据集最近研究

最新研究方向

在机器人操作领域，柔性物体如衣物的处理一直是极具挑战性的研究方向。Kai0数据集凭借其涵盖衣物折叠、悬挂与分类等任务的丰富真实世界演示轨迹，为基于模仿学习与强化学习的机器人策略训练提供了关键数据支撑。当前研究前沿聚焦于利用该数据集训练能够泛化至复杂动态场景的多任务策略模型，特别是结合视觉语言模型实现自然语言指令到精细动作的端到端映射。数据集中的DAgger子集进一步推动了在策略数据收集与失败恢复模式学习方面的探索，助力提升机器人在非结构化环境中的鲁棒性与自主性。这些进展正推动家庭服务机器人向更智能、更实用的方向发展，具有重要的学术与产业价值。