Aneesha/eval_so101_blueblock_run51

该数据集使用LeRobot工具创建，专注于机器人学领域，包含2个episodes、568帧和1个任务。数据以parquet文件格式存储，视频以mp4格式存储，帧率为30fps。数据集特征包括动作（6维浮点数组，控制肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观测状态（6维浮点数组，与动作相同）、前视和侧视摄像头图像（均为480x640x3的视频，使用av1编解码器）、时间戳、帧索引、episode索引、索引和任务索引。数据集结构支持训练分割，总数据文件大小为100MB，视频文件大小为200MB。This dataset was created using the LeRobot tool and focuses on the robotics domain. It contains 2 episodes, 568 frames, and 1 task. The data is stored in parquet file format, with videos in mp4 format at a frame rate of 30fps. The dataset features include actions (a 6-dimensional float32 array controlling shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), observation states (a 6-dimensional float32 array, same as actions), front and side camera images (both videos of 480x640x3 resolution, using the av1 codec), timestamp, frame index, episode index, index, and task index. The dataset structure supports a training split, with a total data file size of 100MB and video file size of 200MB.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，模仿学习依赖于高质量的多模态数据。该数据集源自LeRobot框架，专为评估机器人操作任务而打造。其构建基于对so_follower型机械臂的遥操作示范，采集了2个完整演示片段，共计568帧数据。数据结构以Parquet格式存储，并配套AV1编码的视频流（640×480分辨率，30FPS），同时利用JSON文件记录元信息与特征索引，形成了训练集与验证集分离的标准化布局。

特点

该数据集最鲜明的特点在于其多模态感知与动作状态的对齐。它同时提供了6维关节空间的动作指令（包含肩部、肘部、腕部及夹爪位置）与对应的状态观测值，并辅以前置和侧置两个视角的深度耦合视频流。此外，明确的chunks大小控制（1000帧/块）与文件分片策略，保障了大规模回放时的高效I/O吞吐，使该数据集兼具评估一致性与可扩展性。

使用方法

研究人员可直接利用LeRobot库加载此数据集，通过配置文件中定义的'action'与'observation.state'规范，快速构建模仿学习模型。使用者需确保数据路径指向包含Parquet与MP4文件的'data'与'videos'目录，并依赖meta/info.json中设定的feature字典解析传感信号。推荐调用LeRobot内置的可视化界面在线检视图像序列与操作日志，以验证数据正确性。

背景与挑战

背景概述

在机器人学习领域，模仿学习与基于示范的操控策略日益成为研究热点。由Hugging Face LeRobot社区创建的eval_so101_blueblock_run51数据集，专为评估软体机器人（SO-100系列）执行蓝块抓取任务而设计。该数据集采集于2025年前后，由社区研究人员Aneesha主导构建，共收录2个演示片段、568帧时序数据，包含6自由度关节动作与状态信息，以及前视与侧视双视角高清视频（640×480像素，30fps）。其核心研究问题在于：如何利用有限的高质量示范训练机器人完成精细物体操作。作为LeRobot生态的重要测试基准，该数据集推动了基于视觉-动作联合建模的轻量级机器人学习范式发展，为软体机械臂的泛化性研究提供了典型评估场景。

当前挑战

数据集的构建旨在应对机器人精细操作领域的双重挑战：其一，软体机器人（如SO-100）因柔性关节与非线性动力学特性，难以通过传统控制方法实现高精度抓取，需借助数据驱动的行为克隆或强化学习方法；然而，模型泛化高度依赖演示质量，而本数据集仅含2段示范（共计568帧），样本稀疏性显著加剧了动作预测的过拟合风险。其二，数据采集过程中面临硬件同步与多模态对齐难题：6维关节状态、双视角视频（AV1编码）及时间戳需在30Hz帧率下精确协同，但机械臂的柔性形变常导致视觉观测与真实动作之间的时滞偏差；此外，任务单一样本（仅蓝块抓取）限制了跨物体、跨场景的迁移评估能力，使得构建鲁棒且可复现的机器人学习基线面临严峻挑战。

常用场景

经典使用场景

在机器人学习领域，eval_so101_blueblock_run51数据集专为模仿学习与行为克隆任务而设计，尤其聚焦于机械臂的精细操控场景。该数据集记录了SO-100系列机械臂执行抓取蓝色方块这一单一任务的两段完整轨迹，每段轨迹包含284帧高保真同步数据。通过30帧每秒的640×480像素双视角视频（前视与侧视）与6自由度关节状态序列（肩部、肘部、腕部及夹爪的位姿），研究者能够构建端到端的视觉-运动控制策略。数据集采用LeRobot标准格式，以Parquet文件存储时序化动作与状态，MP4视频保存视觉信息，为复现基于Transformer或扩散策略的机器人操控模型提供了标准化起点。

实际应用

在实际工业与家庭服务场景中，该数据集训练出的模型可直接部署于协作机器人完成重复性拣选任务。例如，应用于流水线上的蓝色工件自动分拣系统，机械臂通过前视与侧视摄像头实时感知传送带上的目标姿态，输出6维关节指令实现精准抓取。在医疗辅助领域，该数据集蕴含的精细操作模式可迁移至手术器械操控，如约束环境下对特定颜色试管的抓取与转移。此外，作为验证数据切片，它也用于测试机器人操作系统中的实时控制管线，评估从视觉输入到电机指令的端到端延迟是否满足30Hz闭环控制需求。

衍生相关工作

基于此数据范式，衍生出多项经典工作。LeRobot社区利用其多视角与状态对齐特性，开发了模仿学习的基线模型，验证了使用行为克隆与扩散策略在高频控制任务中的有效性。研究者进一步将其与领域随机化技术结合，生成孪生数据集以测试在未观测场景下的鲁棒性。该数据集的结构也被采纳为Open X-Embodiment跨本体数据集的标准子集，推动了通用控制器的预训练范式的诞生。在表征学习领域，相关工作通过对比学习双视角特征，探索了视觉隐蔽区域的重建与动作先验的提取，这些工作共同夯实了从示范中学习可泛化操作技能的理论基石。