stevenworkspace/eval_take_mvactd_32

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=stevenworkspace/eval_take_mvactd_32"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "mobileai_robot", "total_episodes": 1, "total_frames": 1085, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:1" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "left_joint_0.pos", "left_joint_1.pos", "left_joint_2.pos", "left_joint_3.pos", "left_joint_4.pos", "left_joint_5.pos", "left_left_carriage_joint.pos", "right_joint_0.pos", "right_joint_1.pos", "right_joint_2.pos", "right_joint_3.pos", "right_joint_4.pos", "right_joint_5.pos", "right_left_carriage_joint.pos", "x.vel", "theta.vel" ], "shape": [ 16 ] }, "observation.state": { "dtype": "float32", "names": [ "left_joint_0.pos", "left_joint_1.pos", "left_joint_2.pos", "left_joint_3.pos", "left_joint_4.pos", "left_joint_5.pos", "left_left_carriage_joint.pos", "right_joint_0.pos", "right_joint_1.pos", "right_joint_2.pos", "right_joint_3.pos", "right_joint_4.pos", "right_joint_5.pos", "right_left_carriage_joint.pos", "x.vel", "theta.vel" ], "shape": [ 16 ] }, "observation.images.cam_high": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.cam_left_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "observation.images.cam_right_wrist": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset designed for mobile AI robots, created using the LeRobot tool. It contains 1 complete episode with a total of 1085 frames, covering 1 task. The dataset has a rich structure, including action data (e.g., 16 joint positions and velocity controls), observation states (also 16-dimensional state information), and multiple camera image observations (including a high camera, left wrist camera, and right wrist camera, all with a resolution of 480x640, 3-channel color video at 30 fps). Additionally, metadata such as timestamps, frame indices, episode indices, and task indices are provided. The data is stored in Parquet format, with video files in MP4 format, suitable for robotics learning, control algorithm development, and computer vision research.

搜集汇总

数据集介绍

构建方式

随着机器人学习领域的迅速发展，高质量的数据集成为推动具身智能研究的关键。该数据集基于LeRobot框架构建，专注于移动机械臂的操控任务，包含1个任务片段，共计1085帧数据与200MB的视频文件。数据以parquet格式存储，并按1000帧为单位分为单个数据块，视频则采用高效的AV1编码。数据集的构建严格遵循标准化流程，将机器人状态、动作指令、多视角视觉观测及时间戳等信息统一编排，便于后续的模仿学习与强化学习研究。

特点

该数据集最显著的特征在于其多模态融合的观测结构。它同时记录了三路视觉信息，包括一个高角度全局摄像头和左右两个腕部摄像头，每个画面均为480×640像素的彩色视频。机器人的状态与动作均涵盖双臂12个关节位置以及底盘的前向与角速度，构成16维向量。此外，数据集还提供了精确的帧索引、任务索引与时间戳，确保时序上的完整对齐，为复杂任务的行为克隆与策略泛化提供了坚实基础。

使用方法

使用该数据集时，研究人员可借助LeRobot库直接加载。通过配置`default`连接器，系统会自动读取分块存储的parquet文件与MP4视频。对于模仿学习任务，可将`observation.state`与`observation.images.*`作为输入，以`action`作为预测目标，并利用`episode_index`与`frame_index`分割不同的训练样本。为了提升训练效率，建议采用`chunks_size`参数对长序列进行切分，结合内置的标准化预处理接口，即可快速搭建端到端的机器人操控策略。

背景与挑战

背景概述

eval_take_mvactd_32数据集由研究者stevenworkspace基于LeRobot框架于近期构建，旨在为机器人学习领域提供高保真度的演示数据。该数据集聚焦于移动机械臂（MobileAI Robot）的精细操作任务，通过记录16维关节状态与动作序列、三视角高清视觉信息（cam_high及左右腕部摄像头）及时间戳等关键模态，形成了包含1085帧、30FPS的完整轨迹。其核心研究问题在于如何利用多模态观测数据驱动机器人从演示中学习复杂操作技能，尤其关注双臂协调与移动基座控制间的耦合关系。作为机器人模仿学习社区的小规模基准，该数据集为验证算法在低数据量下的泛化能力提供了标准化测试场景，推动了具身智能研究中数据驱动方法的实践探索。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：机器人操作任务本身具有高维连续状态空间与非线性动力学特性，单一演示轨迹难以覆盖完整的状态分布，导致学习策略面临分布外泛化困境。尤为棘手的是，16维动作空间中混合了关节位置控制与速度控制（x.vel, theta.vel），不同控制模式的协同建模对模仿学习架构提出更高要求。在构建过程中，挑战集中于数据采集的精准度与一致性——机械臂多视角视频流（480×640分辨率）与高频率状态数据的实时同步需要精密的硬件-软件协同，而AV1编码格式虽然压缩效率优越，却在视频解码时引入计算开销。此外，单条轨迹（仅有1个episode）的规模限制使得数据增强与策略鲁棒性训练成为核心瓶颈。

常用场景

经典使用场景

在机器人学习与操控领域，数据集eval_take_mvactd_32专为双臂移动机械手的任务执行与策略评估而设计。其经典使用场景聚焦于通过高维观测数据（包括多视角视觉流和关节状态信息）训练仿人机器人完成抓取与搬运等精细操作。该数据集以30帧/秒的速度录制了包含16维动作空间的控制轨迹，涵盖了左右臂各6个关节以及底盘移动速度等关键参数，为模仿学习与强化学习算法提供了标准化的训练与测试基准。

解决学术问题

该数据集有效解决了机器人学习中多模态感知与动作协同的学术难题。通过提供同步的高清视觉图像（来自顶部、左右腕部摄像头）与本体感觉状态，研究者得以探索如何融合空间视觉线索与运动学反馈以提升任务的泛化能力。它填补了面向双臂移动平台的高保真示范数据空白，推动了端到端策略学习、视觉运动控制等核心问题的进展，对理解人机协同的底层机理具有深远意义。

衍生相关工作

该数据集衍生了多项经典工作，尤其是在基于Transformer的模仿学习架构与多任务策略蒸馏方向。研究者利用其多视角视觉-动作配对数据，开发了如MV-ACTD等融合注意力机制的动作解码模型，实现了对复杂长序列操控的有效建模。此外，它催生了面向双臂协调的预训练范式，推动了机器人基础模型在低样本场景下的快速适应能力，相关成果已在机器人顶级会议（如ICRA、CoRL）中被广泛引用。