kumagong

KAI0数据集是一个专注于机器人操作任务的数据集，特别是与衣物处理相关的任务。数据集包含三个主要任务：Task_A（展开并折叠T恤）、Task_B（衣物分类和整理）和Task_C（挂衣架操作）。数据集总时长约为181小时，包含20,909个episodes。数据集结构包括base和dagger两个子集，分别包含原始演示轨迹和通过DAgger算法收集的恢复轨迹。数据集使用LeRobot工具创建，版本为v2.1，包含多种数据格式，如parquet文件和视频文件，以及元数据文件如info.json和tasks.jsonl。

The KAI0 dataset is a dataset focused on robotic manipulation tasks, particularly those related to cloth handling. It includes three primary tasks: Task_A (unfolding and folding a T-shirt), Task_B (clothing classification and organization), and Task_C (clothes hanger manipulation). The dataset has a total duration of approximately 181 hours and contains 20,909 episodes. Its structure consists of two subsets: base and dagger, which contain the original demonstration trajectories and the recovered trajectories collected via the DAgger algorithm respectively. Created using the LeRobot tool with version v2.1, the dataset includes multiple data formats such as parquet files and video files, as well as metadata files including info.json and tasks.jsonl.

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: KAI0
• 托管地址: https://huggingface.co/datasets/balatubs123/kumagong
• 许可证: CC BY-NC-SA 4.0
• 任务类别: 机器人学
• 相关标签: LeRobot
• 数据集版本: LeRobotDataset v2.1

数据集内容与规模

• 总时长: 约181小时的真实世界场景数据。
• 数据构成:
  • Base 子集: 包含15,997条轨迹，时长约134小时。
  • DAgger 子集: 包含4,912条轨迹，时长约47小时。
  • 总计: 20,909条轨迹，时长约181小时。

主要任务描述

数据集包含三个独立的衣物整理机器人操作任务。

Task_A: 单任务（展开并折叠）

• 初始状态: T恤被随机扔在桌上，呈现随机褶皱状态。
• 操作任务: 操作机械臂展开衣物，然后将其折叠。

Task_B: 衣物分类与整理任务

• 初始状态: 从洗衣篮中随机挑选一件衣物。
• 分类任务: 判断衣物是T恤还是衬衫。
• 操作任务:
  • 如果是T恤，则折叠该衣物。
  • 如果是衬衫，则露出衣领，然后将其推到桌子一侧。

Task_C: 单任务（悬挂）

• 初始状态: 衣架随机放置，衣物随机放置在桌上。
• 操作任务: 操作机械臂将衣架穿过衣物，然后将其挂到杆子上。

各任务数据统计

任务	Base (轨迹数/时长)	DAgger (轨迹数/时长)	总计 (轨迹数/时长)
Task_A	3,055 / ~42小时	3,457 / ~13小时	6,512 / ~55小时
Task_B	5,988 / ~31小时	769 / ~22小时	6,757 / ~53小时
Task_C	6,954 / ~61小时	686 / ~12小时	7,640 / ~73小时
总计	15,997 / ~134小时	4,912 / ~47小时	20,909 / ~181小时

数据集结构

文件夹层次结构

数据按任务（Task_A, Task_B, Task_C）组织，每个任务下包含两个子集：

• base: 包含衣物整理任务的原始机器人操作演示轨迹。
• dagger: 包含通过迭代DAgger收集的在线策略恢复轨迹，旨在补充静态演示中缺失的故障恢复模式。

典型目录结构如下：

Kai0-data/ ├── Task_A/ │ ├── base/ │ │ ├── data/ # 存储轨迹数据（Parquet格式） │ │ ├── videos/ # 存储多视角视频数据 │ │ └── meta/ # 存储元数据文件 │ └── dagger/ ├── Task_B/ │ ├── base/ │ └── dagger/ └── Task_C/ ├── base/ └── dagger/

数据文件详情

元数据文件 (meta/ 目录下)

1. info.json:

   • 包含数据集的基本信息，如代码库版本、机器人类型、总轨迹数、总帧数、任务总数、视频总数、分块数、帧率等。
   • 定义了数据分割方式、数据及视频文件路径模板。
   • 详细描述了数据特征，包括多个相机视角（如 observation.images.top_head, observation.images.hand_left, observation.images.hand_right）的视频规格，以及观测状态、动作、时间戳等字段的格式。

2. episodes.jsonl: 包含episode相关信息。

3. tasks.jsonl: 包含任务语言提示（自然语言指令），将 task_index 映射到相应的任务描述，可用于语言条件策略训练。

4. episodes_stats.jsonl: 包含episode的统计信息。

轨迹数据文件 (Parquet格式)

Parquet文件包含以下字段：

字段名	形状	含义
observation.state	[N, 14]	机器人状态。左臂 [:, :6], 右臂 [:, 7:13] 为关节角度；左臂 [:, 6], 右臂 [:, 13] 为夹爪开合范围。
action	[N, 14]	机器人动作。格式同 observation.state。
timestamp	[N, 1]	自episode开始以来经过的时间（秒）。
frame_index	[N, 1]	当前episode内该帧的索引（从0开始）。
episode_index	[N, 1]	该帧所属episode的索引。
index	[N, 1]	数据集中所有帧的全局唯一索引。
task_index	[N, 1]	标识正在执行的任务类型的索引。

视频数据文件

• 存储在多视角目录下（如 observation.images.top_head/, observation.images.hand_left/, observation.images.hand_right/）。
• 格式为MP4，编码为AV1，像素格式为yuv420p。
• 分辨率：480x640，帧率：30 fps，通道数：3。

加载与使用

对于 LeRobot 版本 < 0.4.0

根据版本选择导入路径，并使用 LeRobotDataset 加载数据集。

对于 LeRobot 版本 >= 0.4.0

需要先将数据集从 v2.1 迁移到 v3.0。参考官方文档：https://huggingface.co/docs/lerobot/lerobot-dataset-v3

下载方式

支持通过Python脚本（使用 huggingface_hub 或 datasets 库）或终端CLI命令下载整个数据集、特定文件夹或单个文件。

许可证与引用

• 数据集采用 CC BY-NC-SA 4.0 许可证。
• 使用请考虑引用相关项目（引用信息待补充）。