kai0_v1
收藏数据集概述
基本描述
- 数据集名称: Kai0 v1
- 创建工具: 使用 LeRobot 创建。
- 数据规模: 包含约 130小时 的真实世界场景数据。
- 许可协议: CC BY-NC-ND 4.0
- 任务类别: 机器人学
- 标签: LeRobot
主要任务
数据集包含三个主要的衣物操作任务：
1. FlattenFold（铺平折叠）
- 任务类型: 单任务
- 初始状态: T恤被随机扔在桌上，呈现随机的褶皱状态。
- 操作任务: 操作机械臂展开衣物，然后将其折叠。
2. HangCloth（悬挂衣物）
- 任务类型: 单任务
- 初始状态: 衣架随机放置，衣物随机放置在桌上。
- 操作任务: 操作机械臂将衣架穿过衣物，然后将其挂在杆上。
3. TeeShirtSort（T恤分类）
- 任务类型: 衣物分类与整理任务
- 初始状态: 从洗衣篮中随机挑选一件衣物。
- 分类: 判断该衣物是T恤还是衬衫。
- 操作任务:
- 如果是T恤，则折叠衣物。
- 如果是衬衫，则露出衣领，然后将其推到桌子的一侧。
数据集统计
| 任务 | Base (episodes) | DAgger (episodes) | 总计 |
|---|---|---|---|
| FlattenFold | 3,055 | 3,457 | 6,512 |
| HangCloth | 6,954 | 686 | 7,640 |
| TeeShirtSort | 5,988 | - | 5,988 |
| 总计 | 19,608 | 4,143 | 23,751 |
数据结构
文件夹层次结构
数据按任务目录组织，每个任务下分为两个子集：base 和 dagger。
- base: 包含衣物整理任务的原始机械臂操作演示轨迹。
- dagger: 包含通过迭代DAgger收集的在线策略恢复轨迹，旨在补充静态演示中缺失的故障恢复模式。
Kai0-data/ ├── FlattenFold/ │ ├── base/ │ │ ├── data/ │ │ ├── videos/ │ │ └── meta/ │ └── dagger/ ├── HangCloth/ │ ├── base/ │ └── dagger/ ├── TeeShirtSort/ │ ├── base/ │ └── dagger/ └── README.md
数据文件详情
info.json
包含数据集的基本元信息，例如：
codebase_version: 代码库版本（如 v2.1）robot_type: 机器人类型（如 agilex）- 统计信息（总片段数、总帧数、总任务数等）
- 数据路径和视频路径模板
- 特征定义，包括多个视角的图像观察、状态、动作等。
Parquet文件格式
Parquet文件包含以下字段：
| 字段名 | 形状 | 含义 |
|---|---|---|
| observation.state | [N, 14] | 左臂 [:, :6]，右臂 [:, 7:13]，关节角度；左爪 [:, 6]，右爪 [:, 13]，夹爪开合范围 |
| action | [N, 14] | 左臂 [:, :6]，右臂 [:, 7:13]，关节角度；左爪 [:, 6]，右爪 [:, 13]，夹爪开合范围 |
| timestamp | [N, 1] | 自片段开始以来经过的时间（秒） |
| frame_index | [N, 1] | 当前片段内的帧索引（从0开始） |
| episode_index | [N, 1] | 该帧所属的片段索引 |
| index | [N, 1] | 数据集中所有帧的全局唯一索引 |
| task_index | [N, 1] | 标识正在执行的任务类型的索引 |
tasks.jsonl
包含任务语言提示（自然语言指令），指定要执行的操作任务。每个条目将 task_index 映射到其对应的任务描述，可用于语言条件策略训练。
数据下载与加载
下载数据集
Python脚本
python from huggingface_hub import hf_hub_download, snapshot_download from datasets import load_dataset
下载单个文件
hf_hub_download( repo_id="OpenDriveLab-org/kai0", filename="episodes.jsonl", subfolder="meta", repo_type="dataset", local_dir="where/you/want/to/save" )
下载特定文件夹
snapshot_download( repo_id="OpenDriveLab-org/kai0", local_dir="/where/you/want/to/save", repo_type="dataset", allow_patterns=["data/*"] )
加载整个数据集
dataset = load_dataset("OpenDriveLab-org/kai0")
终端 (CLI)
bash
下载单个文件
hf download OpenDriveLab-org/kai0 --include "meta/info.json" --repo-type dataset --local-dir "/where/you/want/to/save"
下载特定文件夹
hf download OpenDriveLab-org/kai0 --repo-type dataset --include "meta/*" --local-dir "/where/you/want/to/save"
下载整个数据集
hf download OpenDriveLab-org/kai0 --repo-type dataset --local-dir "/where/you/want/to/save"
加载数据集
对于 LeRobot 版本 < 0.4.0
根据版本选择导入路径：
| 版本 | 导入路径 |
|---|---|
<= 0.1.0 |
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset |
> 0.1.0 且 < 0.4.0 |
from lerobot.datasets.lerobot_dataset import LeRobotDataset |
python
加载数据集
dataset = LeRobotDataset(repo_id=where/the/dataset/you/stored)
对于 LeRobot 版本 >= 0.4.0
需要先将数据集从 v2.1 迁移到 v3.0。请参阅官方文档：将数据集从 v2.1 迁移到 v3.0。
bash python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=<HF_USER/DATASET_ID>
许可与引用
- 许可: 此存储库中的所有数据和代码均遵循 CC BY-NC-ND 4.0 许可。
- 引用: 请考虑在您的研究中引用本项目。
