tomato-to-plate
收藏资源简介：
该数据集是一个用于机器人学研究的机器人操作数据集，使用LeRobot工具创建。数据集包含55个完整的情节（episodes），总计42022帧数据，专门针对blueberry_ros类型的机器人。数据以Parquet文件格式组织，并附有对应的MP4格式视频文件。数据集的核心内容包括：1) 动作数据：一个26维的浮点数向量，描述了机器人左臂和右臂的线性和角速度、左右手各手指（小指、无名指、中指、食指、拇指）的控制指令，以及机器人基座的两个控制维度。2) 观测状态数据：一个55维的浮点数向量，包含了左右臂7个关节和左右手5个手指关节的位置（pos）和力（effort）信息，以及一个3维的视线（gaze）数据（x, y坐标和有效标志）。3) 图像观测数据：提供了四个视角的视频流，分别是左摄像头图像、右摄像头图像、用户视角图像和用户视线图像，所有视频分辨率均为480x640，3通道（RGB），帧率为15fps，使用AV1编码。此外，数据集还包含时间戳、帧索引、情节索引、全局索引和任务索引等元数据。所有数据仅划分为训练集（train split）。
This dataset is a robotic manipulation dataset for robotics research, created using the LeRobot tool. It contains 55 complete episodes, totaling 42022 frames, specifically designed for the blueberry_ros type of robot. The data is organized in Parquet file format with corresponding MP4 video files. The core content includes: 1) Action data: a 26-dimensional floating-point vector describing linear and angular velocities of the robots left and right arms, control commands for each finger (pinky, ring, middle, index, thumb) of both hands, and two control dimensions for the robot base. 2) Observation state data: a 55-dimensional floating-point vector containing position (pos) and effort information for 7 joints of each arm and 5 finger joints of each hand, as well as a 3-dimensional gaze data (x, y coordinates and a valid flag). 3) Image observation data: provides four perspective video streams, namely left camera image, right camera image, user perspective image, and user gaze image. All videos have a resolution of 480x640, 3 channels (RGB), a frame rate of 15fps, and are encoded with AV1. Additionally, the dataset includes metadata such as timestamps, frame index, episode index, global index, and task index. All data is only divided into a training set (train split).
数据集：tomato-to-plate
- 许可证: Apache-2.0
- 任务类别: 机器人学（robotics）
- 标签: LeRobot
- 创建工具: 使用 LeRobot 框架创建
数据集统计
| 属性 | 数值 |
|---|---|
| 总片段数 | 55 |
| 总帧数 | 42,022 |
| 总任务数 | 1 |
| 帧率 (FPS) | 15 |
| 数据文件大小 | 100 MB |
| 视频文件大小 | 200 MB |
| 分块大小 | 1,000 |
| 机器人类型 | blueberry_ros |
| 代码库版本 | v3.0 |
| 数据拆分 | 训练集: 0-55 片段（全部用于训练） |
数据结构
数据集包含以下特征，以 Parquet 和 MP4 视频文件形式存储：
| 特征名称 | 数据类型 | 形状 | 说明 |
|---|---|---|---|
| action | float32 | [26] | 26维动作指令，包括双臂线性/角速度、手部各手指关节、底座移动指令 |
| observation.state | float32 | [55] | 55维机器人状态，包含双臂各关节位置、手部各关节位置、双臂各关节力矩、手部各关节力矩、注视点坐标及有效性 |
| observation.images.left | video (AV1) | [480, 640, 3] | 左侧摄像头 RGB 视频，分辨率 480x640，帧率 15 |
| observation.images.right | video (AV1) | [480, 640, 3] | 右侧摄像头 RGB 视频，分辨率 480x640，帧率 15 |
| observation.images.user | video (AV1) | [480, 640, 3] | 用户视角 RGB 视频，分辨率 480x640，帧率 15 |
| observation.images.user_gaze | video (AV1) | [480, 640, 3] | 用户注视方向 RGB 视频，分辨率 480x640，帧率 15 |
| timestamp | float32 | [1] | 时间戳 |
| frame_index | int64 | [1] | 帧索引 |
| episode_index | int64 | [1] | 片段索引 |
| index | int64 | [1] | 全局索引 |
| task_index | int64 | [1] | 任务索引 |
数据文件路径
- 数据文件:
data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet - 视频文件:
videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
可视化
可通过 LeRobot 可视化工具 在线浏览数据集内容。
