dice_white_pnp_und_sf_500_b04
收藏资源简介：
该数据集为FANUC CRX-5iA机器人骰子拾放演示数据集，由脚本化伺服（白色积木收集器）在单元中记录。包含255个片段，共363835帧，帧率为30fps。使用4个摄像头（gripper、cam0、cam1、cam2），分辨率为640x480。任务为拾取骰子并将其放置在空白色积木上。帧已去除畸变（保持模式），并使用工厂镜头校准进行重映射。状态和动作向量包含13个维度：J1至J6关节角度、X/Y/Z工具尖端坐标（毫米，世界坐标系，机器人基座为原点）、W/P/R工具欧拉角（度）、gripper夹爪开度（1.0为打开，0.0为闭合）。动作是绝对目标值（即下一帧的状态）。
This dataset is a FANUC CRX-5iA robot dice pick-and-place demonstration dataset, recorded by a scripted servo (white block collector) in a cell. It contains 255 episodes, 363,835 frames at 30 fps, with 4 cameras (gripper, cam0, cam1, cam2) at a resolution of 640x480. The task is to pick up dice and place them on empty white blocks. Frames have been undistorted (keep mode) and remapped using factory lens calibration. State and action vectors have 13 dimensions: J1 to J6 joint angles, X/Y/Z tool tip coordinates (mm, world coordinate system with robot base as origin), W/P/R tool Euler angles (degrees), and gripper opening (1.0 open, 0.0 closed). Actions are absolute target values (i.e., the state of the next frame).
数据集概述
基本信息
- 数据集地址：https://huggingface.co/datasets/azorematter/dice_white_pnp_und_sf_500_b04
- 许可证：apache-2.0
- 任务类别：robotics
- 标签：LeRobot、fanuc、crx-5ia、pick-and-place、dice、real-robot、undistorted
- 数据规模：100K < n < 1M
- 创建工具：LeRobot
- 机器人类型：fanuc_crx5ia
数据集描述
FANUC CRX-5iA 骰子拾取放置演示数据，由脚本化伺服（白色方块收集器）在单元上录制：305 个 episode，430812 帧，30 fps，4 个相机（gripper、cam0、cam1、cam2），分辨率 640x480。任务：拾取骰子并将其放置在空的白色方块上。仅当收集器验证骰子已放置在其方块上后，才会保存每个 episode。
帧几何
- 帧为去畸变（UNDISTORTED）模式（mode
keep）：在编码前使用出厂镜头标定（OpenCV rational 模型，全部 14 项，K 保留）进行重映射。 - 各相机的 K、K_new 和系数位于：
meta/undistort.json。 - 在此训练的策略在推理时必须输入去畸变帧（fanuc_control.undistort，mode
keep）。
状态与动作
observation.state和action宽度为 13：J1、J2、J3、J4、J5、J6、X、Y、Z、W、P、R、grip。- J1..J6 为关节角度（度），X/Y/Z 为工具尖端位置（mm，世界坐标系，机器人基座位于原点），W/P/R 为 FANUC 工具姿态（度），
grip1.0 = 打开，0.0 = 闭合。 action[t]等于observation.state[t+1]（最后一帧重复），即绝对目标，而非增量。- 位姿来自控制器 125 Hz 状态流，按每帧相机采集时间戳采样，未进行插值；若帧下存在位姿空洞、闭合点高于下降底部超过 3 mm 或相机过期，则该 episode 在采集时被丢弃。
采集指标
位姿通道
| 指标 | 值 | 备注 |
|---|---|---|
| 连续相同位姿 | 0.0% | 旧语料 18%（移动期间缓存冻结） |
| 精确线性斜坡帧 | 14.6% | 旧语料 79%（插值） |
| 静止帧（关节速度 < 0.5 deg/s） | 31.9% | RMI 停走语料 39% |
| 静止连续长度 p50 / p90 / max（帧） | 14 / 35 / 73 | 连续 >= 30 即整个 ACT chunk |
| 静止连续 >= 30 内的帧 | 11.4% | 悬停固定点；原为 21% |
| stay put 30 行动作 chunks | 13.2% | 静止时标签歧义；原为 15% |
| 关节速度 p50 / p90 / max（deg/s） | 3.4 / 23.1 / 64.1 |
抓取几何
| 指标 | 值 | 备注 |
|---|---|---|
| 具有闭合/释放的 episodes | 305 / 305 | |
| 闭合高于下降底部 p50 / p90 / max（mm） | 0.02 / 0.07 / 0.17 | 旧语料 99/99 中为 35.1 mm；限值 3 |
| 闭合前处于深度帧数 p50 / p90 / max | 18 / 18 / 18 | 抓取前的稳定 |
| 闭合时 z p50 / p90 / max（mm） | -126.5 / -126.5 / -126.5 | |
| 释放时 z p50 / p90 / max（mm） | -125.0 / -125.0 / -125.0 |
放置（闭合时的 x, y）
| 指标 | 值 |
|---|---|
| 测量的闭合次数 | 305 |
| x 范围（mm） | [130.39, 438.99] |
| y 范围（mm） | [337.8, 518.34] |
| 位于随机化区域内 | 99%（区域外：[[411.6, 339.1], [306.1, 345.2]]） |
同步与产出（collection_stats.jsonl）
| 指标 | 值 | 备注 |
|---|---|---|
| 产出（保留/尝试） | 305 / 460 = 66% | |
| 丢弃 | {a 700 ms hole in the frame stream: 1, unknown: 153, camera 2 handed out a stale frame: 131 ms behind camera 0 at frame 476 (limit 100 ms): 1} | |
| 修复的帧 tick（总数、episodes） | 116, 74 | 采样器空洞上重复的帧 |
| 位姿节奏 p50 / p90 / max（ms） | 8.00 / 8.00 / 8.00 | 标称 8.00 |
| 位姿最差间隔 p50 / p90 / max（ms） | 8.0 / 32.0 / 32.0 | 帧下记录器拒绝 > 40 |
| 位姿序列间隙 | 34 | |
| 位姿接收抖动 p50 / p90 / max（ms） | 19.9 / 30.3 / 47.6 | 由控制器时钟吸收 |
| 闭合高于深度 p50 / p90 / max（mm） | 0.02 / 0.07 / 0.17 | 记录器拒绝 > 3 |
| 闭合前深度提前量 p50 / p90 / max（ms） | 600 / 600 / 600 | |
| 相机间偏差 p50 / p90 / max（ms） | 59 / 72 / 98 | 记录器拒绝 > 100 |
| 腕部相机 vs 位姿滞后 median / | median | / max |
相机
| 相机 | 文件数 | 帧数 | 行数 | 匹配 | 亮度中位数 | 裁剪 |
|---|---|---|---|---|---|---|
| observation.images.gripper | 18 | 430812 | 430812 | True | 32 | 0.05% |
| observation.images.cam0 | 32 | 430812 | 430812 | True | 111 | 0.32% |
| observation.images.cam1 | 28 | 430812 | 430812 | True | 16 | 0.51% |
| observation.images.cam2 | 34 | 430812 | 430812 | True | 8 | 0.80% |
标记（Flags）
- 静止帧 31.9% > 30.0%
- 静止连续 >= 30 内的帧 11.4% > 10.0%
- stay-put 30 行 chunks 13.2% > 5.0%
- 随机化区域外的放置：2
- 产出 66% < 80%
- 位姿流序列间隙：34
- observation.images.gripper：亮度中位数 32
- observation.images.cam1：亮度中位数 16
- observation.images.cam2：亮度中位数 8
数据集结构
meta/info.json 关键信息
- codebase_version：v3.0
- fps：30
- total_episodes：305
- total_frames：430812
- total_tasks：1
- chunks_size：1000
- data_files_size_in_mb：100
- video_files_size_in_mb：200
- data_path：
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - video_path：
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4 - robot_type：fanuc_crx5ia
- splits：train: 0:305
特征
| 特征 | dtype | shape | names |
|---|---|---|---|
| observation.state | float32 | [13] | J1, J2, J3, J4, J5, J6, x, y, z, W, P, R, gripper |
| action | float32 | [13] | J1, J2, J3, J4, J5, J6, x, y, z, W, P, R, gripper |
| observation.images.gripper | video | [480, 640, 3] | height, width, channels |
| observation.images.cam0 | video | [480, 640, 3] | height, width, channels |
| observation.images.cam1 | video | [480, 640, 3] | height, width, channels |
| observation.images.cam2 | video | [480, 640, 3] | height, width, channels |
| timestamp | float32 | [1] | null |
| frame_index | int64 | [1] | null |
| episode_index | int64 | [1] | null |
| index | int64 | [1] | null |
| task_index | int64 | [1] | null |
视频信息（各相机通用）
- video.height：480
- video.width：640
- video.codec：av1
- video.pix_fmt：yuv420p
- video.fps：30
- video.channels：3
- has_audio：false
- video.g：2
- video.crf：30
- video.preset：12
- video.fast_decode：0
- video.video_backend：pyav
- video.extra_options：{}
- is_depth_map：false
配置文件
- config_name：default
- data_files：
data/*/*.parquet
可视化
可通过以下地址查看数据集可视化： https://huggingface.co/spaces/lerobot/visualize_dataset?path=azorematter/dice_white_pnp_und_sf_500_b04
