kai0

该数据集使用[LeRobot](https://github.com/huggingface/lerobot)创建，包含约130小时的真实世界场景数据。主要任务包括：1. **FlattenFold**：操作机械臂展开并折叠随机放置在桌子上的T恤；2. **HangCloth**：操作机械臂将衣架穿过衣物并挂在杆上；3. **TeeShirtSort**：对衣物进行分类和整理，判断是T恤还是衬衫，并进行相应的折叠或整理操作。数据集统计信息如下：FlattenFold任务有6,512个片段，HangCloth任务有7,640个片段，TeeShirtSort任务有5,988个片段，总计23,751个片段。

原始信息汇总

Kai0 数据集概述

数据集基本信息

• 发布者: OpenDriveLab-org
• 许可证: CC BY-NC-ND 4.0
• 任务类别: 机器人学
• 相关标签: LeRobot
• 数据格式: Parquet 文件
• 数据总量: 约130小时的真实世界场景数据

主要任务

数据集包含三个主要的衣物操作任务：

1. FlattenFold（展平折叠）

• 任务类型: 单任务
• 初始状态: T恤被随机扔在桌子上，呈现随机的褶皱状态。
• 操作任务: 操作机械臂展开衣物，然后将其折叠。

2. HangCloth（悬挂衣物）

• 任务类型: 单任务
• 初始状态: 衣架随机放置，衣物随机放置在桌子上。
• 操作任务: 操作机械臂将衣架穿过衣物，然后将其挂在杆子上。

3. TeeShirtSort（T恤分类）

• 任务类型: 衣物分类与整理任务
• 初始状态: 从洗衣篮中随机挑选一件衣物。
• 分类: 判断该衣物是T恤还是衬衫。
• 操作任务:
  • 如果是T恤，则折叠衣物。
  • 如果是衬衫，则露出衣领，然后将其推到桌子的一侧。

数据集统计

任务	Base (episodes)	DAgger (episodes)	总计
FlattenFold	3,055	3,457	6,512
HangCloth	6,954	686	7,640
TeeShirtSort	5,988	-	5,988
总计	15,997	4,143	20,140

数据结构

文件夹层次结构

数据按任务目录组织，每个任务下分为两个子集：base 和 dagger。

• base: 包含机器人手臂执行衣物整理任务的原始演示轨迹。
• dagger: 包含通过迭代DAgger收集的在线策略恢复轨迹，旨在补充静态演示中缺失的故障恢复模式。

Kai0-data/ ├── FlattenFold/ │ ├── base/ │ └── dagger/ ├── HangCloth/ │ ├── base/ │ └── dagger/ ├── TeeShirtSort/ │ ├── base/ │ └── dagger/ └── README.md

数据文件详情

Parquet 文件格式

字段名	形状	含义
observation.state	[N, 14]	左侧 [:, :6], 右侧 [:, 7:13], 关节角度<br> 左侧[:, 6], 右侧 [:, 13], 夹持器张开范围
action	[N, 14]	左侧 [:, :6], 右侧 [:, 7:13], 关节角度<br> 左侧[:, 6], 右侧 [:, 13], 夹持器张开范围
timestamp	[N, 1]	自片段开始以来经过的时间（秒）
frame_index	[N, 1]	当前片段内此帧的索引（从0开始）
episode_index	[N, 1]	此帧所属片段的索引
index	[N, 1]	数据集中所有帧的全局唯一索引
task_index	[N, 1]	标识正在执行的任务类型的索引

元数据文件

• info.json: 包含数据集的基本结构信息，如代码库版本、机器人类型、总片段数、总帧数、总任务数、总视频数、总块数、块大小、帧率、分割信息、数据路径、视频路径以及特征定义。
• tasks.jsonl: 包含任务语言提示（自然语言指令），指定要执行的操作任务。每个条目将 task_index 映射到其相应的任务描述，可用于语言条件策略训练。
• episodes.jsonl: 片段信息。
• episodes_stats.jsonl: 片段统计信息。

数据特征

• 观察图像:
  • observation.images.top_head: 顶部摄像头图像，形状 [480, 640, 3]，帧率 30 fps。
  • observation.images.hand_left: 左侧手部摄像头图像。
  • observation.images.hand_right: 右侧手部摄像头图像。
• 观察状态: observation.state，形状 [14]，数据类型 float32。
• 动作: action，形状 [14]，数据类型 float32。
• 时间信息: timestamp (float32), frame_index (int64), episode_index (int64), index (int64), task_index (int64)。

下载与加载

下载方式

• Python脚本: 使用 huggingface_hub 库的 hf_hub_download 或 snapshot_download 函数。
• 终端CLI: 使用 hf download 命令。

加载方式

根据使用的 LeRobot 版本选择不同的加载方法：

• LeRobot 版本 < 0.4.0: 使用 LeRobotDataset 类加载。
• LeRobot 版本 >= 0.4.0: 需要先将数据集从 v2.1 迁移到 v3.0，然后加载。

许可证与引用

• 许可证: CC BY-NC-ND 4.0。
• 引用: 提供了 BibTeX 引用格式，但具体信息待填充。