LeRobot Dataset
收藏LeRobot 数据集概述
数据集简介
LeRobot 数据集是一个面向真实世界机器人应用的先进AI数据集。该数据集支持将OpenX格式数据转换为LeRobot V2.0数据集格式。
关键改进
- OXE标准转换：集成了OXE的标准转换，确保数据一致性。
- 状态与动作信息对齐：状态和动作信息现在完美对齐，提高了数据集的清晰度和连贯性。
- 机器人类型和控制频率：添加了机器人类型和控制频率的注释，提高数据集的可理解性。
- 关节信息：包括关节特定细节，有助于细致理解。
数据集结构
meta/info.json 文件的结构如下：
json { "codebase_version": "v2.0", "robot_type": "franka", "fps": 3, "features": { "observation.images.image_key": { "dtype": "video", "shape": [128, 128, 3], "names": ["height", "width", "rgb"], "info": { "video.fps": 3.0, "video.height": 128, "video.width": 128, "video.channels": 3, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false } }, "observation.state": { "dtype": "float32", "shape": [8], "names": { "motors": ["x", "y", "z", "roll", "pitch", "yaw", "pad", "gripper"] } }, "action": { "dtype": "float32", "shape": [7], "names": { "motors": ["x", "y", "z", "roll", "pitch", "yaw", "gripper"] } } } }
安装
-
下载LeRobot代码： bash git clone https://github.com/huggingface/lerobot.git cd lerobot
-
创建并激活Python 3.10的虚拟环境： bash conda create -y -n lerobot python=3.10 conda activate lerobot
-
安装LeRobot： bash pip install -e .
开始使用
-
下载源代码： bash git clone https://github.com/Tavish9/openx2lerobot.git
-
修改
convert.sh中的路径： bash python openx_rlds.py --raw-dir /path/to/droid/1.0.0 --local-dir /path/to/LEROBOT_DATASET --repo-id your_hf_id --push-to-hub --batch-size 16 --num-workers 8 --use-videos -
执行脚本： bash bash convert.sh
可用的OpenX_LeRobot数据集
- 已将大部分OpenX数据集上传至huggingface。
- 可以在此空间中查看数据集。
LeRobotDataset格式
-
加载数据集： python dataset = LeRobotDataset("lerobot/aloha_static_coffee")
-
数据集结构： plaintext dataset attributes: ├ hf_dataset: Hugging Face dataset (backed by Arrow/parquet) ├ episode_data_index: 包含每个起始和结束索引的2个张量 ├ stats: 数据集中每个特征的统计信息 ├ info: 数据集的元数据 ├ videos_dir: 视频文件存储路径 └ camera_keys: 访问相机特征的键列表
-
数据集序列化使用的文件格式：
- 使用Hugging Face datasets库序列化为parquet
- 视频存储为mp4格式
- 元数据存储为plain json/jsonl文件
数据集可以从HuggingFace hub无缝上传/下载。在本地工作集时，可以使用local_files_only参数，并通过root参数指定位置（默认为~/.cache/huggingface/lerobot）。
致谢
特别感谢Lerobot团队提供的出色框架。
