ChenLong_Embodied_Intelligence_Dataset
收藏资源简介：
这是一个使用 SO101 主从机械臂系统采集的 LeRobot 格式具身智能数据集。数据集任务是让机器人抓取桌面上的网球，并将网球放入目标区域。数据可用于模仿学习、视觉语言动作模型训练、机器人策略验证和 SO101 数据采集流程复现。
This is an embodied intelligence dataset in LeRobot format collected using the SO101 master-slave robotic arm system. The dataset task is to have the robot grasp a tennis ball on the table and place it into a target area. The data can be used for imitation learning, vision-language-action model training, robot policy validation, and reproduction of the SO101 data collection pipeline.
ChenLong 具身智能数据集概述
数据集简介
本数据集为基于 SO101 主从机械臂系统采集的 LeRobot 格式具身智能数据集，核心任务是让机器人抓取桌面上的网球并放入目标区域，适用于模仿学习、视觉语言动作模型训练、机器人策略验证及 SO101 数据采集流程复现。任务文本为"Pick up the tennis ball and place it in the target area."（捡起网球并将其放到目标区域），语言涵盖中文和英文，所属任务类别为机器人学（robotics）。
数据集基本信息
| 项目 | 数值 |
|---|---|
| 数据格式 | LeRobot v3.0 |
| 机器人类型 | so_follower |
| 总 episodes | 48 |
| 总帧数 | 21187 |
| 任务数量 | 1 |
| 采集帧率 | 30 FPS |
| 图像分辨率 | 640 x 480 |
| 摄像头数量 | 2 |
| 动作维度 | 6 |
| 状态维度 | 6 |
| 数据划分 | train: 0:48 |
| 数据文件模板 | data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet |
| 视频文件模板 | videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 |
硬件配置
硬件组成如下：SO101 follower arm（从臂，执行动作）、SO101 leader arm（主臂，遥操作输入）、俯视摄像头（固定在桌面上方）、手腕摄像头（安装在机械臂末端）、网球（操作物体）及桌面指定放置区域（目标区域）。采集时设备端口映射为：follower arm 使用 /dev/ttyACM0，leader arm 使用 /dev/ttyACM1，overhead camera 使用 /dev/video4，wrist camera 使用 /dev/video2。主从臂电机配置为：电机 ID 1, 2, 3, 4, 5, 6，波特率 1000000，识别到的电机型号为 777，关节顺序为 shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper。
软件环境与采集参数
采集环境为 Ubuntu Linux 操作系统、Python 3.10、Conda 环境名 lerobot044、LeRobot 0.4.4、数据集格式版本 v3.0、视频编码 AV1、摄像头读取后端 OpenCV、机器人类型参数 so101_follower、遥操作器类型参数 so101_leader。主要采集参数包括：采集帧率 30 FPS、单条 episode 时长 15 秒、重置时间 10 秒、每次追加采集 10 条 episode、启用视频录制、本地采集后上传、启用流式编码、编码线程数 2、启用显示数据。
数据采集流程为：操作者通过 leader arm 控制 follower arm → 机械臂抓起网球 → 移动并放入目标区域 → 单条 episode 采集 15 秒 → 10 秒重置时间恢复环境。
数据字段说明
数据集包含以下特征字段：
| 字段 | 类型 | 形状 | 含义 |
|---|---|---|---|
action |
float32 |
[6] |
主臂遥操作产生的动作目标 |
observation.state |
float32 |
[6] |
从臂当前关节状态 |
observation.images.overhead |
video |
[480, 640, 3] |
俯视摄像头视频 |
observation.images.wrist |
video |
[480, 640, 3] |
手腕摄像头视频 |
timestamp |
float32 |
[1] |
当前帧时间戳 |
frame_index |
int64 |
[1] |
episode 内帧编号 |
episode_index |
int64 |
[1] |
episode 编号 |
index |
int64 |
[1] |
全局帧编号 |
task_index |
int64 |
[1] |
任务编号 |
action 和 observation.state 的 6 个维度分别为 shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos。两个摄像头视频字段均为 640 x 480 分辨率、30 FPS、AV1 编码、yuv420p 像素格式且无音频。
目录结构
数据集包含 data/（parquet 数据文件）、meta/（episodes、info.json、stats.json、tasks.parquet）、videos/（两个摄像头的 mp4 视频文件）及 README.md。所有文件按 chunk 分块组织，chunk-000 包含 file-000 至 file-004 共 5 个分块文件。
复现与使用注意事项
推荐使用 LeRobot 0.4.4 版本读取数据，可通过 LeRobotDataset API 直接加载远程仓库或本地数据。复现采集时需注意：必须提前完成主从臂校准；设备端口可能因插拔顺序变化需重新确认；追加采集时必须设置 --resume=true；任务文本需保持一致；摄像头分辨率与 FPS 需保持 640 x 480 和 30 FPS；电机 ID 需保持 1-6、波特率 1000000；reset 阶段不属于有效任务执行过程。
