so100_cube_rectangle_eval

该数据集是一个使用LeRobot工具创建的机器人任务数据集，旨在记录机器人执行任务时的动作、观察、奖励和完成状态等信息。具体包含以下字段：动作（action，7维浮点数组，表示x、y、z位置和wx、wy、wz旋转及jaw控制）、观察（observation，包括来自顶部摄像头（top）和腕部摄像头（wrist）的图像视频，每帧为3通道128x128分辨率，以AV1编码，帧率10 FPS；以及状态（state，7维浮点数组，与动作维度对应））、下一时刻奖励（next.reward，浮点数）、下一时刻完成标志（next.done，布尔值）、补充信息（complementary_info.discrete_penalty，浮点数）、时间戳（timestamp，浮点数）、帧索引（frame_index，整数）、episode索引（episode_index，整数）、数据索引（index，整数）和任务索引（task_index，整数）。数据集规模为1个episode、599帧、1个任务，总数据量约300 MB（其中数据文件100 MB，视频文件200 MB），数据以分块Parquet文件存储。该数据集适用于机器人控制、强化学习或视觉-动作策略学习等任务。This dataset is a robot task dataset created using the LeRobot tool, designed to record information such as actions, observations, rewards, and completion states during robot task execution. It specifically includes the following fields: action (a 7-dimensional floating-point array representing x, y, z positions and wx, wy, wz rotations, along with jaw control), observation (including image videos from a top camera and a wrist camera, each frame with 3 channels at 128x128 resolution, encoded in AV1 at 10 FPS; and state (a 7-dimensional floating-point array corresponding to the action dimensions)), next.reward (floating-point number), next.done (boolean), complementary_info.discrete_penalty (floating-point number), timestamp (floating-point number), frame_index (integer), episode_index (integer), index (integer), and task_index (integer). The dataset scale consists of 1 episode, 599 frames, and 1 task, with a total data volume of approximately 300 MB (including 100 MB for data files and 200 MB for video files), stored in chunked Parquet files. This dataset is suitable for tasks such as robot control, reinforcement learning, or vision-action policy learning.

原始信息汇总

数据集概述

• 名称: so100_cube_rectangle_eval
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 创建工具: LeRobot

数据集结构

基础信息:

• 总集数 (Total Episodes): 1
• 总帧数 (Total Frames): 599
• 总任务数 (Total Tasks): 1
• 帧率 (fps): 10
• 数据文件大小: 100 MB (Parquet格式)
• 视频文件大小: 200 MB (MP4格式)
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 划分 (Splits): 训练集包含全部数据 (索引 0:1)

特征 (Features):

• 动作 (action): 7维浮点数组，维度名称为 x, y, z, wx, wy, wz, jaw
• 奖励 (next.reward): 1维浮点数
• 完成标志 (next.done): 布尔值
• 补充信息 - 离散惩罚 (complementary_info.discrete_penalty): 1维浮点数，名称为 discrete_penalty
• 观测 - 顶部图像 (observation.images.top): 视频格式，形状 [3, 128, 128] (通道、高、宽)，编码为AV1，帧率10fps
• 观测 - 腕部图像 (observation.images.wrist): 同上，视频格式，形状 [3, 128, 128]，AV1编码，10fps
• 观测 - 状态 (observation.state): 7维浮点数组，维度名称为 x, y, z, wx, wy, wz, jaw
• 时间戳 (timestamp): 1维浮点数
• 帧索引 (frame_index): 1维整数
• 集索引 (episode_index): 1维整数
• 全局索引 (index): 1维整数
• 任务索引 (task_index): 1维整数

搜集汇总

数据集介绍

构建方式

该数据集名为so100_cube_rectangle_eval，专为机器人操作任务的评估而构建，依托于LeRobot框架。数据集仅包含单个评估片段（episode），共计599帧数据，采样频率为10帧/秒。数据以流行的Parquet格式存储，同时将高维视频信息编码为AV1格式的MP4文件，实现了存储效率与数据完整性的平衡。在结构设计上，它严格遵循LeRobot v3.0规范，通过index、episode_index等元数据字段实现帧与片段的有序索引，确保数据加载的序列化完整性。

特点

该数据集的核心特点在于其针对单一操作任务（如搬运立方体至矩形区域）的精细化设计。它提供了多模态感知数据，包括顶部和腕部两个视角的128x128 RGB图像，以及7维机器人关节状态（位置与姿态）。同时记录了7维动作指令，涵盖末端执行器的空间平移、旋转与夹爪开合。此外，还包含离散惩罚、奖励信号等辅助信息，为强化学习或模仿学习的策略评估提供了稳定且完整的输入与反馈信号。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载，利用其内置的数据加载器自动处理Parquet和视频文件的同步读取。由于数据集已明确划分训练集（仅包含单一片段），用户可将全部数据用于评估模型的零样本或少样本泛化能力。在模型输入层面，可将图像序列与状态向量直接馈入策略网络，动作数据则作为真值标签。数据集的AV1视频编码格式兼容PyAV等后端，便于在PyTorch或TensorFlow框架中构建高性能数据管道。

背景与挑战

背景概述

so100_cube_rectangle_eval数据集由研究人员alexis779基于LeRobot框架创建，旨在为机器人操作任务提供标准化的评估基准。该数据集聚焦于机器人对立方体与矩形物体的抓取与操作任务，通过记录7维动作空间（包括位置、姿态与夹爪开合）及多视角视觉观测（顶部与腕部摄像头，分辨率为128x128），捕捉了10帧每秒的精细操作数据。数据集包含一个完整回合、599帧图像及100MB的数据规模，隶属于Apache-2.0许可协议，体现了开源与可复现的理念。其发布为机器人领域中的模仿学习与策略评估提供了关键性资源，推动了操作任务从仿真环境向真实场景迁移的研究进程。

当前挑战

该数据集致力于解决机器人精细操作中物体识别与抓取策略的领域难题，具体包括：1）在非结构化环境中，机器人需从视觉输入中准确区分立方体与矩形物体，并生成适应不同几何形状的连续动作序列；2）构建过程中面临硬件校准与数据一致性挑战，如多相机视角（顶部与腕部）的同步标定、7维动作空间与视觉特征的时空对齐，以及10Hz采样频率下对高速动态操作的有效捕获；3）数据规模与多样性受限，单回合599帧数据难以覆盖复杂操作中的边缘情况，如物体意外滑动或光照变化，限制了模型在真实场景中的泛化能力。这些挑战共同表征了数据集作为评估基准的严谨性与潜在局限。

常用场景

经典使用场景

在机器人操作与模仿学习领域，so100_cube_rectangle_eval数据集专为评估机械臂在精细操控任务中的表现而设计。该数据集记录了单个机械臂（如SO-100型号）在拾取并移动立方体或矩形物体至指定位置的全过程，包含来自顶部和腕部摄像头的视觉观测（128×128分辨率，10 FPS）以及7维动作指令（位置与姿态）。其最经典的用途是作为基准测试集，用于验证模仿学习或强化学习算法在刚性物体抓取与放置任务中的泛化能力与精度。

实际应用

在实际工业与家庭服务场景中，该数据集可用于开发能够自适应物体形状的机器人抓取系统。基于其包含的视觉与运动信息，工程师可以训练机器人从无序堆叠中识别并稳定抓取立方体或矩形物品，例如在仓储分拣作业中区分不同规格的货箱，或在家庭环境中协助摆放餐具。其低延迟（10 FPS）和紧凑数据格式（Parquet与AV1视频）也便于部署到边缘计算设备上，实现实时决策。

衍生相关工作

围绕该数据集衍生出的工作集中在模仿学习架构改进与多任务泛化方面。经典工作包括利用扩散策略（Diffusion Policy）从观测中生成平滑动作序列，以及基于视觉语言模型（VLM）的零样本抓取姿态预测。此外，结合LeRobot开源框架，研究者已在该数据基础上开发了基于Transformer的决策预训练模型，并探索了通过数据增强（如随机物体初始位姿）提升策略对未见环境的鲁棒性。这些成果进一步催化了机器人数据集中半监督与自监督学习范式的融合。