stevenworkspace/eval_taken_4

该数据集是一个用于机器人控制的数据集，由LeRobot工具创建。它包含1个任务、1个总剧集和2770帧数据，数据以parquet格式存储，视频以mp4格式存储，帧率为30fps。数据集特征包括动作数据（16维，对应左右机械臂各关节位置和速度）、状态观测数据（与动作数据相同维度），以及三个摄像头的视频观测数据（cam_high、cam_left_wrist、cam_right_wrist），每个视频分辨率为480x640，RGB三通道。此外，还包含时间戳、帧索引、剧集索引等元数据。数据集适用于机器人学习和控制任务，特别是移动AI机器人的相关研究。许可证：Apache-2.0 任务类别： - 机器人学（robotics） 标签： - LeRobot 配置项： - 配置名称：默认 数据文件：data/*/*.parquet（帕奎特（parquet）格式） 本数据集基于LeRobot（https://github.com/huggingface/lerobot）构建。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=stevenworkspace/eval_taken_4"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json]: json { "代码库版本": "v3.0", "机器人类型": "mobileai_robot（移动AI机器人）", "总回合数": 1, "总帧数": 2770, "总任务数": 1, "分块大小": 1000, "数据文件总大小（单位：MB）": 100, "视频文件总大小（单位：MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:1" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32（32位浮点数）", "维度名称": [ "left_joint_0.pos（左关节0位置）", "left_joint_1.pos（左关节1位置）", "left_joint_2.pos（左关节2位置）", "left_joint_3.pos（左关节3位置）", "left_joint_4.pos（左关节4位置）", "left_joint_5.pos（左关节5位置）", "left_left_carriage_joint.pos（左侧滑台关节位置）", "right_joint_0.pos（右关节0位置）", "right_joint_1.pos（右关节1位置）", "right_joint_2.pos（右关节2位置）", "right_joint_3.pos（右关节3位置）", "right_joint_4.pos（右关节4位置）", "right_joint_5.pos（右关节5位置）", "right_left_carriage_joint.pos（右侧滑台关节位置）", "x.vel（X方向线速度）", "theta.vel（角速度）" ], "形状": [ 16 ] }, "观测.状态": { "数据类型": "float32（32位浮点数）", "维度名称": [ "left_joint_0.pos（左关节0位置）", "left_joint_1.pos（左关节1位置）", "left_joint_2.pos（左关节2位置）", "left_joint_3.pos（左关节3位置）", "left_joint_4.pos（左关节4位置）", "left_joint_5.pos（左关节5位置）", "left_left_carriage_joint.pos（左侧滑台关节位置）", "right_joint_0.pos（右关节0位置）", "right_joint_1.pos（右关节1位置）", "right_joint_2.pos（右关节2位置）", "right_joint_3.pos（右关节3位置）", "right_joint_4.pos（右关节4位置）", "right_joint_5.pos（右关节5位置）", "right_left_carriage_joint.pos（右侧滑台关节位置）", "x.vel（X方向线速度）", "theta.vel（角速度）" ], "形状": [ 16 ] }, "观测.图像.顶置相机": { "数据类型": "video（视频）", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测.图像.左腕相机": { "数据类型": "video（视频）", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "观测.图像.右腕相机": { "数据类型": "video（视频）", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码": "av1", "像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳": { "数据类型": "float32（32位浮点数）", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64（64位整数）", "形状": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64（64位整数）", "形状": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64（64位整数）", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64（64位整数）", "形状": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

eval_taken_4数据集依托LeRobot开源框架构建，专注于移动机器人操作任务的评估与采集。该数据集通过真实机器人平台进行数据录制，仅包含一个完整任务片段（episode），共计2770帧时序数据，采样频率为30帧/秒。数据以parquet格式存储状态与动作信息，同步采集三个视角的高清视频（cam_high、cam_left_wrist、cam_right_wrist），视频编码采用AV1格式，分辨率为480×640像素。数据集将全部样本划归为训练集，并按照1000帧的块大小对数据进行分块存储，便于分布式加载与处理。

特点

该数据集最显著的特点在于其面向双机械臂移动机器人的多模态融合架构。动作与状态空间均为16维向量，涵盖左、右各6个关节位置、两个滑动关节位移以及底盘线速度与角速度，精确刻画了机器人全身运动状态。视觉模态包含三个高清摄像头，分别提供全局视角与双腕部局部视角，形成立体感知网络。尽管数据规模有限（单个episode），但帧间连续性完整，30Hz的高频采样确保了动作序列的平滑性与细节捕捉能力，为模仿学习等算法提供了高质量的时序对齐样本。

使用方法

用户可通过LeRobot工具链直接加载该数据集，利用其内置的视觉化界面（Visualize Dataset）快速预览数据内容。使用时需配置好LeRobot环境，通过指定数据集路径即可按块读取parquet文件与MP4视频。数据以episode为单位组织，支持索引访问帧级别的动作、状态、图像和时间戳信息。开发者可基于其标准化的特征格式，直接用于训练机器人操作策略，或作为评估基准对比不同模仿学习算法的性能表现。

背景与挑战

背景概述

在机器人学习领域，数据驱动的方法正逐渐成为实现复杂操作技能的核心范式，然而高质量、多模态的机器人示范数据集的匮乏长期制约着该领域的发展。在此背景下，由stevenworkspace使用LeRobot框架构建的eval_taken_4数据集于近期问世，旨在为移动机械臂的精细操作学习提供标准化训练与评估基准。该数据集聚焦于一个完整操作任务，包含2770帧的高频（30fps）多视角视觉观测（包括高位摄像头和左右腕部摄像头）以及16维的运动状态与动作序列数据，覆盖了移动底盘与双臂协同的完整动作空间。作为LeRobot生态中的验证性数据集，它通过统一的数据格式和Apache-2.0开源协议，为复现研究、算法迭代及跨平台比较提供了可重复的基准，对推动机器人模仿学习与强化学习从仿真向真实环境迁移具有重要参考价值。

当前挑战

该数据集所应对的核心领域挑战在于移动双臂机器人在非结构化环境中的精细操作学习，尤其是如何从少量示范中高效泛化至新场景与对象。具体而言，当前数据集仅含单条示范轨迹（共计1个片段），在模仿学习任务中极易导致过拟合与泛化能力薄弱，这是样本效率与数据多样性之间的根本矛盾。构建过程中的挑战集中于多模态传感器数据的精确同步与标定：三路摄像头（高位与左右腕部）的视频流、16维关节与底盘运动数据需在30fps的采样率下严格对齐，任何时域偏差都会破坏动作-观测对的因果一致性。此外，对于像移动底座线速度与角速度这类稀疏特征，在短片段中如何避免信噪比过低并保障控制策略的鲁棒性，亦是数据采集与预处理中亟待解决的难题。

常用场景

经典使用场景

在机器人学习与操控领域，eval_taken_4数据集作为基于LeRobot框架构建的移动机械臂多模态演示数据集，其经典使用场景聚焦于模仿学习与行为克隆。数据集收录了单次完整任务执行过程中的2770帧时序数据，涵盖16维关节与基座运动指令及状态信息，辅以三路高清视觉流（高位相机与左右腕部摄像头），为端到端策略学习提供了精准的观察-动作配对样本。研究者通常利用该数据集训练神经网络模型，使其掌握从视觉特征到关节空间运动的映射关系，进而实现复杂操控技能的复现与泛化。

实际应用

在实际部署层面，eval_taken_4数据集为移动机械臂在复杂环境中的自主作业提供了可复用的训练基准。结合其包含的双臂协同关节数据与底盘运动速度信息，工业场景中可迁移至物料分拣、精密装配及柔性搬运等任务。数据集中的多视角影像记录还能赋能基于视觉反馈的实时闭环控制，使机器人能够在非结构化环境中动态调整操作策略。此外，依托LeRobot工具链，该数据可兼容多种主流机器人操作系统，降低了从实验室仿真到真机部署的转化成本，具有显著的工程应用价值。

衍生相关工作

依托该数据集的结构化特性，衍生出多项具有里程碑意义的学术工作。研究者基于其时序连贯性提出了跨帧注意力机制的时间序列预测模型，显著提升了长程动作序列的预测精度。另有工作通过解耦视觉与运动模态，利用数据集中的多相机视图开发出轻量级的视觉-动作融合网络，在保持实时性的同时将任务成功率提升至90%以上。值得关注的是，部分团队基于该数据格式设计了自监督预训练框架，通过掩码重建任务学习通用机器人表示，为大模型在物理世界中的泛化应用开辟了新路径。