Kai0

KAI0数据集是一个专注于机器人操作任务的集合，特别是与衣物处理相关的任务。数据集包含三个主要任务：FlattenFold（展开和折叠T恤）、HangCloth（挂衣物）和TeeShirtSort（T恤分类和整理）。数据集总计包含约134小时的实时世界场景数据，分为基础数据集和DAgger数据集，分别用于原始演示轨迹和迭代DAgger收集的恢复轨迹。数据集结构包括视频、元数据和任务描述文件，支持语言条件策略训练。

原始信息汇总

KAI0 数据集概述

数据集基本信息

• 发布者/组织: OpenDriveLab-org
• 数据集名称: KAI0
• 许可证: MIT
• 任务类别: 机器人学
• 相关标签: LeRobot
• 数据集地址: https://huggingface.co/datasets/OpenDriveLab-org/Kai0
• 研究博客链接: https://mmlab.hk/research/kai0

数据集内容与规模

• 创建工具: 使用 LeRobot 创建。
• 总时长: 包含约 181 小时 的真实世界场景数据。
• 数据构成:
  • 基础数据: 15,997 条轨迹，约 134 小时。
  • DAgger 数据: 4,912 条轨迹，约 47 小时。
  • 总计: 20,909 条轨迹，约 181 小时。

主要任务

数据集包含三个衣物操作任务：

1. FlattenFold（铺平折叠）

• 任务类型: 单任务。
• 初始状态: T恤被随机扔在桌子上，呈现随机的褶皱状态。
• 操作任务: 操作机械臂展开衣物，然后将其折叠。
• 数据量:
  • 基础数据: 3,055 条轨迹，约 42 小时。
  • DAgger 数据: 3,457 条轨迹，约 13 小时。
  • 总计: 6,512 条轨迹，约 55 小时。

2. HangCloth（悬挂衣物）

• 任务类型: 单任务。
• 初始状态: 衣架随机放置，衣物随机放在桌子上。
• 操作任务: 操作机械臂将衣架穿过衣物，然后将其挂在杆子上。
• 数据量:
  • 基础数据: 6,954 条轨迹，约 61 小时。
  • DAgger 数据: 686 条轨迹，约 12 小时。
  • 总计: 7,640 条轨迹，约 73 小时。

3. TeeShirtSort（T恤分类整理）

• 任务类型: 衣物分类和整理任务。
• 初始状态: 从洗衣篮中随机挑选一件衣物。
• 分类: 判断衣物是 T恤还是衬衫。
• 操作任务:
  • 如果是 T恤，则折叠衣物。
  • 如果是衬衫，则露出衣领，然后将其推到桌子的一侧。
• 数据量:
  • 基础数据: 5,988 条轨迹，约 31 小时。
  • DAgger 数据: 769 条轨迹，约 22 小时。
  • 总计: 6,757 条轨迹，约 53 小时。

数据集结构

文件夹层次结构

数据按任务组织，每个任务目录下包含 base 和 dagger 两个子集。

• base: 包含机械臂执行衣物整理任务的原始演示轨迹。
• dagger: 包含通过迭代 DAgger 收集的在线策略恢复轨迹，旨在补充静态演示中缺失的故障恢复模式。

Kai0-data/ ├── FlattenFold/ │ ├── base/ │ └── dagger/ ├── HangCloth/ │ ├── base/ │ └── dagger/ ├── TeeShirtSort/ │ ├── base/ │ └── dagger/ └── README.md

数据文件详情

info.json 文件

包含数据集的基本元信息，例如：

• codebase_version: 代码库版本 (v2.1)。
• robot_type: 机器人类型 (agilex)。
• total_episodes: 数据集中的总轨迹数。
• total_frames: 任一单摄像头视角的总视频帧数。
• total_tasks: 总任务数。
• total_videos: 数据集中所有摄像头视角的视频总数。
• total_chunks: 数据块数量。
• chunks_size: 一个数据块中的最大轨迹数。
• fps: 视频帧率。
• splits: 数据集划分方式。
• features: 数据特征定义，包括多个摄像头视角（如 observation.images.top_head, observation.images.hand_left, observation.images.hand_right）、观测状态、动作、时间戳等。

Parquet 文件格式

数据以 Parquet 文件存储，主要字段包括：

• observation.state: [N, 14]，左右机械臂关节角度和夹爪开合范围。
• action: [N, 14]，左右机械臂关节角度和夹爪开合范围。
• timestamp: [N, 1]，自轨迹开始以来经过的时间（秒）。
• frame_index: [N, 1]，当前轨迹内此帧的索引。
• episode_index: [N, 1]，此帧所属轨迹的索引。
• index: [N, 1]，数据集中所有帧的全局唯一索引。
• task_index: [N, 1]，标识正在执行的任务类型的索引。

tasks.jsonl 文件

包含任务语言提示（自然语言指令），指定要执行的操作任务。每个条目将一个 task_index 映射到其对应的任务描述，可用于语言条件策略训练。

加载与下载

加载数据集

• LeRobot 版本 < 0.4.0: 根据版本选择相应的导入路径，使用 LeRobotDataset 类加载。
• LeRobot 版本 >= 0.4.0: 需要先将数据集从 v2.1 迁移到 v3.0，然后加载。

下载数据集

• Python 脚本: 可使用 huggingface_hub 库的 hf_hub_download 或 snapshot_download 函数下载单个文件或特定文件夹，或使用 datasets 库的 load_dataset 函数加载整个数据集。
• 终端 (CLI): 可使用 hf download 命令下载文件、文件夹或整个数据集。

许可证与引用

• 许可证信息待填充。
• 引用信息待填充。