dillonlyr04/eval_final_k50_200000

这是一个机器人学数据集，使用LeRobot工具创建，专门针对双臂机器人（bi_so100_follower）设计。数据集包含2个总episodes、853个总frames和1个总任务，数据以parquet文件格式存储，总大小为100MB，视频文件大小为200MB，帧率为30fps。数据特征包括机器人的动作（12个浮点型关节位置）、观测状态（12个浮点型关节位置）、以及来自三个视角（顶部全局、左臂、右臂）的视频观测（分辨率720x1280，3通道，H.264编码）。此外，还包含时间戳、帧索引、episode索引等元数据。数据集仅用于训练，适用于机器人控制和学习任务。--- license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集概述 - **项目主页：** [待补充更多信息] - **相关论文：** [待补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "codebase_version": "v3.0", "robot_type": "bi_so100_follower", "total_episodes": 2, "total_frames": 853, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:2" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "left_shoulder_pan.pos", "left_shoulder_lift.pos", "left_elbow_flex.pos", "left_wrist_flex.pos", "left_wrist_roll.pos", "left_gripper.pos", "right_shoulder_pan.pos", "right_shoulder_lift.pos", "right_elbow_flex.pos", "right_wrist_flex.pos", "right_wrist_roll.pos", "right_gripper.pos" ], "shape": [ 12 ] }, "observation.state": { "dtype": "float32", "names": [ "left_shoulder_pan.pos", "left_shoulder_lift.pos", "left_elbow_flex.pos", "left_wrist_flex.pos", "left_wrist_roll.pos", "left_gripper.pos", "right_shoulder_pan.pos", "right_shoulder_lift.pos", "right_elbow_flex.pos", "right_wrist_flex.pos", "right_wrist_roll.pos", "right_gripper.pos" ], "shape": [ 12 ] }, "observation.images.top_global": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.left_arm": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.right_arm": { "dtype": "video", "shape": [ 720, 1280, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 720, "video.width": 1280, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 引用信息 **BibTeX格式：** bibtex [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动算法性能提升的核心动力。eval_final_k50_200000数据集基于LeRobot框架构建，旨在为双臂仿人机器人提供精细的动作与观测记录。该数据集包含2个完整演示片段，共计853帧，帧率为30Hz，覆盖单任务场景。数据以Parquet格式存储于分块文件中，同时关联的H.264编码视频文件以MP4格式保存，分别记录机器人的多视角视觉信息。构建过程中，机器人通过遥操作采集了12维动作向量与对应的状态向量，涵盖左右肩、肘、腕、夹爪等多个关节的位置数据，确保了动作与状态的精准对齐。视频数据包含顶部全局、左臂与右臂三个视角，分辨率达720p，为行为克隆等模仿学习任务提供了丰富的多模态输入。

特点

该数据集的核心特点在于其精细的关节级控制数据与多视角视觉信息的有机结合。动作与状态数据均以32位浮点数表示12个自由度，包括左右手臂的肩部、肘部、腕部及夹爪位置，为细粒度动作建模提供了高精度的连续控制信号。视觉模态通过三个固定视角的720p视频流捕捉机器人操作的全局与局部场景，视频编码采用H.264格式，帧率与动作数据一致，确保了时间维度的同步性。此外，数据集包含时间戳、帧索引、情节索引等元数据，便于序列化处理与数据切片。所有数据均遵循Apache-2.0开源协议，研究社区可自由访问与利用，为双臂协作、精细操作等机器人任务的算法开发提供了标准化的基准。

使用方法

使用该数据集进行模型训练时，研究人员可借助LeRobot库实现高效的数据加载与预处理。具体而言，通过指定配置指向Parquet文件与视频文件夹，即可将动作、状态与图像流按帧同步读取。典型用法包括：采用行为克隆方法直接回归动作序列，或构建端到端策略网络将多视角图像映射至关节控制指令。数据集已预先划分为训练集（索引0至2），支持按情节或帧进行批量采样。由于动作与状态空间维度一致，研究者亦可设计逆动力学模型或对比学习框架。建议在训练前对动作数据进行归一化处理，并利用视频压缩特性优化内存占用。通过迭代式数据增强如随机裁剪与颜色抖动，可进一步提升模型的泛化能力。

背景与挑战

背景概述

该数据集基于LeRobot框架构建，专为双臂机器人操作任务设计，采用Bi-SO100型跟随机器人采集。数据集创建于近年来模仿学习与机器人遥操作快速发展的背景下，由HuggingFace团队主导开发，旨在为双臂协同操作动作预测提供标准化训练资源。其核心研究问题在于如何通过少量演示数据（仅2个episode，853帧）实现机器人动作策略的有效学习。数据集以Apache-2.0许可发布，推动了开源机器人数据生态的构建，为低成本双臂机器人操作研究提供了基础数据基准。

当前挑战

所解决的领域挑战在于：双臂机器人操作涉及高维、连续、多模态的动作空间，传统强化学习方法难以在有限样本下高效学习；该数据集利用人机遥操作演示数据，通过模仿学习范式降低策略搜索难度。构建过程中面临的主要挑战包括：1）多源高分辨率视频（三视角720p@30fps）与12维动作状态数据的同步采集与对齐；2）在仅单个任务、极少量样本条件下，确保数据覆盖性以支持策略泛化；3）parquet与视频分块存储格式的设计，需兼顾大规模数据的高效读写与流式处理能力。

常用场景

经典使用场景

在机器人学习领域，该数据集专为双臂协同操控任务而设计，其核心使用场景聚焦于模仿学习与行为克隆。凭借对Bi-SO100双臂机器人各关节角度、位置及多视角视觉信息的精细记录，研究者能够利用这些高保真的轨迹数据进行端到端策略训练。数据集涵盖全局俯视与左右臂特定视角的同步视频流，为模型提供了丰富的空间与运动线索，使其能够学习从视觉感知到动作输出的直接映射，是实现精细化机器人操作技能复现的经典基石。

实际应用

在实际应用层面，该数据集是训练双臂机器人完成精细装配、物料分拣及双机协作任务的关键资源。例如，在工业场景中，基于该数据集学习的策略可使机器人自主执行部件对接等需要精确力矩与位置同步的操作。在服务机器人领域，它赋能双机械臂完成端茶递物等交互活动。其约100MB的高效存储设计使得部署在边缘设备上成为可能，有助于缩小仿真训练与真实世界执行之间的差距。

衍生相关工作

该数据集的发布催生了多项经典研究工作，例如基于LeRobot框架的一系列迁移学习与域随机化方法。研究者利用其结构化特征，探索了如何在视线遮挡或关节磨损条件下通过数据增强维持策略鲁棒性。后续工作包括从本数据集提取关键帧以构建更高效的子任务专家库，以及结合扩散模型进行轨迹生成，这些衍生工作不仅验证了数据集的质量，还拓展了其在复杂生产环境中应用的可能性。