behavior-1k_2025-challenge-demos

该数据集是使用LeRobot创建的机器人数据集，专门针对R1Pro机器人。它包含10,000个episodes，总计119,094,660帧，覆盖50个不同的任务，并包含90,000个视频。数据以parquet格式存储，视频以mp4格式存储，帧率为30fps。观测数据包括来自左腕、右腕和头部的RGB图像（分辨率分别为480x480和720x720）、深度图（同样分辨率）和实例分割图。此外，数据集还包含23维的动作数据、时间戳、episode索引、索引、相机相对姿态、状态信息和任务信息。所有数据仅用于训练分割，并按照MIT许可证发布。This dataset is a robot dataset created using LeRobot, specifically for the R1Pro robot. It contains 10,000 episodes, totaling 119,094,660 frames, covering 50 different tasks, and includes 90,000 videos. The data is stored in parquet format, with videos in mp4 format at a frame rate of 30fps. Observation data includes RGB images from the left wrist, right wrist, and head (with resolutions of 480x480 and 720x720), depth maps (at the same resolutions), and instance segmentation maps. Additionally, the dataset includes 23-dimensional action data, timestamps, episode indices, indices, camera relative poses, state information, and task information. All data is intended for training splits only and is released under the MIT license.

原始信息汇总

数据集总览

• 数据集名称: behavior-1k_2025-challenge-demos
• 许可证: MIT
• 任务类别: 机器人学（robotics）
• 标签: LeRobot、v、2、.、1

数据集规模

• 总片段数 (episodes): 10,000
• 总帧数 (frames): 119,094,660
• 总任务数 (tasks): 50
• 总视频数 (videos): 90,000
• 帧率 (fps): 30
• 数据集划分: 仅包含训练集（train: 0:10000）

数据集结构

• 数据格式: 使用 LeRobot 创建，数据以 Parquet 和 MP4 格式存储。
• 数据路径:
  • 数据文件: data/task-{episode_chunk:04d}/episode_{episode_index:08d}.parquet
  • 视频文件: videos/task-{episode_chunk:04d}/{video_key}/episode_{episode_index:08d}.mp4
  • 元信息: meta/episodes/task-{episode_chunk:04d}/episode_{episode_index:08d}.json
  • 注释信息: annotations/task-{episode_chunk:04d}/episode_{episode_index:08d}.json
• 数据分块: chunks_size 为 10,000

机器人及传感器信息

• 机器人类型: R1Pro
• 传感器观测 (observation):
  • 图像 (RGB):
    • 左腕相机: 480x480 分辨率，30 fps，libx265 编码
    • 右腕相机: 480x480 分辨率，30 fps，libx265 编码
    • 头部相机: 720x720 分辨率，30 fps，libx265 编码
  • 深度图 (Depth):
    • 左腕深度: 480x480 分辨率，30 fps，libx265 编码，depth 通道
    • 右腕深度: 480x480 分辨率，30 fps，libx265 编码，depth 通道
    • 头部深度: 720x720 分辨率，30 fps，libx265 编码，depth 通道
  • 实例分割图 (Segmentation Instance ID):
    • 左腕: 480x480 分辨率，30 fps，libx265 编码
    • 右腕: 480x480 分辨率，30 fps，libx265 编码
    • 头部: 720x720 分辨率，30 fps，libx265 编码
  • 其他观测:
    • cam_rel_poses: 21 维 float32 向量
    • state: 256 维 float32 向量
    • task_info: 可变长度 float32 向量
• 动作 (action): 23 维 float32 向量
• 时间戳 (timestamp): float64 标量
• 元数据: episode_index (int64) 和 index (int64)

引用

• BibTeX: bibtex @article{li2024behavior, title={Behavior-1k: A human-centered, embodied ai benchmark with 1,000 everyday activities and realistic simulation}, author={Li, Chengshu and Zhang, Ruohan and Wong, Josiah and Gokmen, Cem and Srivastava, Sanjana and Mart{i}n-Mart{i}n, Roberto and Wang, Chen and Levine, Gabrael and Ai, Wensi and Martinez, Benjamin and Yin, Hang and Lingelbach, Michael and Hwang, Minjune and Hiranaka, Ayano and Garlanka, Sujay and Aydin, Arman and Lee, Sharon and Sun, Jiankai and Anvari, Mona and Sharma, Manasi and Bansal, Dhruva and Hunter, Samuel and Kim, Kyu-Young and Lou, Alan and Matthews, Caleb R. and Villa-Renteria, Ivan and Tang, Jerry Huayang and Tang, Claire and Xia, Fei and Li, Yunzhu and Savarese, Silvio and Gweon, Hyowon and Liu, C. Karen and Wu, Jiajun and Fei-Fei, Li}, journal={arXiv preprint arXiv:2403.09227}, year={2024} }