classified-data-2026-07-06

该数据集是一个用于机器人学研究的机器人操作数据集，由LeRobot工具创建。它记录了Agilex Piper双手机器人的操作数据，包含219个episodes，总计41,978帧数据，帧率为20 FPS。数据以分块形式存储，数据文件总大小约为100 MB，视频文件总大小约为200 MB。数据集目前仅包含训练集（所有episodes）。每个样本包括以下主要特征：1) 观测状态（observation.state）：一个14维的浮点向量，表示机器人左右手臂各6个关节角度以及左右夹爪的状态；2) 动作（action）：一个14维的浮点向量，表示对应的控制指令，维度与观测状态一致；3) 多视角图像观测（observation.images.*）：包含来自前（front）、左（left）、右（right）、上（top）四个视角的视频数据，每个视频帧为480x640分辨率的RGB图像（3通道），编码格式为H.264；4) 图像时间戳（observation.camera_ts_ns.*）：与每个视角图像对应的纳秒级时间戳；5) 索引与元数据：包括时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index，当前数据集仅包含1个任务）。该数据集适用于机器人模仿学习、强化学习、视觉-动作策略学习等任务的研究与模型训练。This dataset is a robotic manipulation dataset for robotics research, created using the LeRobot tool. It records operational data from the Agilex Piper dual-arm robot, containing 219 episodes with a total of 41,978 frames at a frame rate of 20 FPS. The data is stored in chunks, with the total size of data files being approximately 100 MB and video files approximately 200 MB. The dataset currently includes only the training set (all episodes). Each sample includes the following main features: 1) Observation state (observation.state): a 14-dimensional floating-point vector representing the joint angles of the robots left and right arms (6 each) and the states of the left and right grippers; 2) Action (action): a 14-dimensional floating-point vector representing corresponding control commands, with dimensions consistent with the observation state; 3) Multi-view image observations (observation.images.*): video data from four perspectives—front, left, right, and top—with each video frame being a 480x640 resolution RGB image (3 channels) encoded in H.264 format; 4) Image timestamps (observation.camera_ts_ns.*): nanosecond-level timestamps corresponding to each perspective image; 5) Index and metadata: including timestamp, frame index, episode index, global index, and task index (the current dataset contains only one task). This dataset is suitable for research and model training in tasks such as robotic imitation learning, reinforcement learning, and vision-action policy learning.

原始信息汇总

数据集概述

• 数据集名称: classified-data-2026-07-06
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总片段数 (Episodes): 219
• 总帧数 (Frames): 41,978
• 任务数: 1
• 帧率 (FPS): 20
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 分块大小: 1000

数据集划分

• 训练集 (Train): 片段索引 0 至 218 (共219个片段)

机器人类型

• 机器人型号: agilex_piper_bimanual (双臂机器人)

特征信息

特征名称	数据类型	形状	描述
observation.state	float32	(14,)	包含14个维度：右臂6个关节、左臂6个关节、右夹爪、左夹爪
action	float32	(14,)	动作空间，与状态维度对应（右臂6关节、左臂6关节、右夹爪、左夹爪）
observation.images.front	视频	(480, 640, 3)	前向相机图像，H.264编码，20 FPS，分辨率480x640
observation.images.left	视频	(480, 640, 3)	左侧相机图像，编码与分辨率同上
observation.images.right	视频	(480, 640, 3)	右侧相机图像，编码与分辨率同上
observation.images.top	视频	(480, 640, 3)	顶部相机图像，编码与分辨率同上
observation.camera_ts_ns.front.rgb	int64	(1,)	前向相机时间戳（纳秒）
observation.camera_ts_ns.left.rgb	int64	(1,)	左侧相机时间戳（纳秒）
observation.camera_ts_ns.right.rgb	int64	(1,)	右侧相机时间戳（纳秒）
observation.camera_ts_ns.top.rgb	int64	(1,)	顶部相机时间戳（纳秒）
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据格式

• 数据文件: Parquet 格式，路径为 data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: MP4 (H.264编码)，路径为 videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 代码库版本: v3.0

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人操控任务提供标准化的训练数据。数据采集自AgileX Piper双臂机器人平台，共包含219个示范片段，总帧数达41,978帧，采样频率为20帧/秒。数据以分块形式存储于Parquet文件中，每个块容量为1,000帧，同时配套的MP4视频文件则记录了多视角视觉信息。数据集仅包含单一任务类型，所有片段均归属于训练集，未设置验证或测试划分，确保了数据在统一任务范式下的高度一致性。

特点

数据集的核心特点在于其多模态传感信息的深度融合。状态空间涵盖双臂各6个关节角度及两个夹爪开合度，构成14维观测向量，而动作空间与之维度相同，便于直接进行模仿学习。视觉信息由前、左、右、顶四个方向的高清摄像头（480×640分辨率，H.264编码）同步采集，并附带纳秒级时间戳用于多模态对齐。此外，数据集中每帧均包含时间戳、帧序号、片段索引等元数据，为轨迹分析与时序建模提供了结构性支撑。

使用方法

用户可通过集成于HuggingFace Spaces的LeRobot可视化工具直接预览数据集内容。在编程使用层面，推荐加载LeRobot Python库后，利用其Dataset类读取Parquet与视频文件，并通过DataLoader按批次输出状态、动作及图像张量。由于数据集已按LeRobot规范组织，亦可直接用于训练基于行为克隆或扩散策略的机器人操控模型。Apache-2.0许可协议允许自由修改与分发，适合学术研究与工业应用场景。

背景与挑战

背景概述

在机器人学习领域，大规模、多模态且结构化的数据集是推动具身智能体从仿真走向真实应用的关键基石。由Hugging Face LeRobot团队于2026年7月创建的classified-data-2026-07-06数据集，聚焦于双机械臂协作操作场景，采用AgileX Piper双臂机器人平台，采集了219个演示片段、总计超过4万帧的高质量交互数据。该数据集不仅记录了14维关节状态与动作序列，还同步提供了前、左、右、顶部四个视角的640×480分辨率视频流及对应时间戳，形成了视觉-状态-动作对齐的立体观测体系。LeRobot作为开源机器人学习框架，其数据标准化范式为领域研究者提供了可直接用于模仿学习或强化学习的统一接口，对提升双臂协同任务的泛化能力与复现性具有重要推动作用。

当前挑战

当前机器人操作数据集普遍面临两大结构性挑战。首先，从领域问题看，双臂协同作业涉及高自由度运动规划与多视角视觉融合的复杂耦合，而该数据集仅包含单一任务类型，限制了模型对任务间迁移与场景泛化的学习能力。其次，从构建过程看，数据采集依赖AgileX Piper特定硬件配置，其关节状态与视觉信息在高动态操作中的同步精度易受采样频率（20 FPS）与编码延迟影响；同时，基于人工遥操作录制的1小时范本数据量（约0.1 GB Parquet与0.2 GB视频）在低成本下难以覆盖长尾分布的操作变体，可能引入演示偏差，影响策略学习的鲁棒性。

常用场景

经典使用场景

在机器人学习领域，classified-data-2026-07-06数据集为模仿学习与行为克隆研究提供了珍贵的多模态演示资源。该数据集采集自Agilex Piper双臂机器人，包含219个完整操作片段、超过4万帧时序数据，并同步记录了14维关节状态与动作指令，以及前、左、右、上四个视角的高清视觉观测。研究者可借助此数据集，训练机器人通过端到端深度学习模型，直接由视觉输入映射至关节级动作输出，从而复现复杂的双臂协同操作技能。

衍生相关工作

基于该数据集，学术界与工业界已衍生出一系列前沿研究。其中，利用视觉-关节联合编码的端到端策略网络成为主流工作，研究者通过引入Transformer架构或扩散模型来提升动作预测的平滑性与鲁棒性。同时，该数据集催生了关于双臂协调控制、跨视角特征对齐以及域随机化泛化的专项研究。此外，结合LeRobot框架的可复现实验范式，多个团队在此数据上验证了对比学习、数据增强与模仿学习算法的改进效果，促进了机器人策略学习社区标准化基准的建立。

数据集最近研究

最新研究方向

该数据集聚焦于双臂机器人的精细操作与协同控制前沿方向，基于敏捷制造领域新一代AgileX Piper双臂平台采集，包含219条轨迹、超过4万帧高保真运动数据。在具身智能浪潮席卷全球的背景下，双臂协作机器人正从实验室走向工业装配、医疗辅助等复杂场景。该数据集以14维关节空间状态与对应动作序列为核心，辅以四视角高清视觉流，为模仿学习与视觉-运动联合建模提供了难得的基准资源。其标准化LeRobot格式与Apache-2.0许可，有望推动开放式机器人学习生态的构建，加速通用操作技能的泛化研究。