eval_pi05_duct_tape

该数据集使用LeRobot工具创建，专为机器人学任务设计，适用于机器人控制与模仿学习。数据集采用Apache 2.0许可证。数据集结构包含多模态数据：动作（action）为6维浮点数组，对应机器人肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置；状态观测（observation.state）为6维浮点数组，表示机器人关节位置；视觉观测包括前视摄像头（observation.images.front）和腕部摄像头（observation.images.wrist）的视频数据，每帧图像分辨率为480x640，3通道RGB格式。此外，数据集还包含时间戳、帧索引、回合索引、数据索引和任务索引等元数据字段。数据以parquet文件格式存储，视频以mp4格式存储，帧率为30fps。根据元数据，数据集当前总episodes、总frames和总tasks均为0，数据文件总大小约100MB，视频文件总大小约200MB，分块大小为1000，表明数据集可能为空或尚未填充实际数据。机器人类型为so_follower，适用于跟随或模仿任务。

This dataset is created using the LeRobot toolkit, specifically designed for robotics tasks and applicable to robot control and imitation learning. The dataset is licensed under Apache 2.0. The dataset structure includes multimodal data: the action is a 6-dimensional floating-point array, corresponding to the robot's shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position; the state observation (observation.state) is a 6-dimensional floating-point array representing the robot's joint positions. The visual observations include video data from the front-facing camera (observation.images.front) and wrist-mounted camera (observation.images.wrist), with each frame having a resolution of 480×640 and 3-channel RGB format. In addition, the dataset also contains metadata fields such as timestamps, frame indices, episode indices, data indices, and task indices. The structured data is stored in Parquet file format, while the video data is stored in MP4 format with a frame rate of 30fps. According to the metadata, the current total number of episodes, total frames, and total tasks of the dataset are all 0. The total size of the data files is approximately 100 MB, and the total size of the video files is approximately 200 MB, with a chunk size of 1000, indicating that the dataset may be empty or has not yet been filled with actual data. The robot type is so_follower, which is suitable for following or imitation tasks.

原始信息汇总

数据集概述

• 数据集名称：eval_pi05_duct_tape
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot
• 创建工具：使用 LeRobot 创建

数据集结构

• 配置名称：default
• 数据文件格式：Parquet（路径：data/*/*.parquet）
• 代码库版本：v3.0
• 机器人类型：so_follower
• 总帧数：0
• 总任务数：0
• 总片段数：0
• 数据块大小：1000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 帧率：30 fps
• 数据路径模式：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径模式：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征（Features）

特征名称	数据类型	形状	说明
action	float32	[6]	机械臂动作（6个自由度：肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）
observation.state	float32	[6]	机械臂状态（与动作相同维度）
observation.images.front	video	[480, 640, 3]	前置摄像头图像（高度480，宽度640，RGB三通道）
observation.images.wrist	video	[480, 640, 3]	腕部摄像头图像（高度480，宽度640，RGB三通道）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	索引
task_index	int64	[1]	任务索引

其他信息

• 主页：尚未提供（[More Information Needed]）
• 论文：尚未提供（[More Information Needed]）
• 引用：尚未提供（[More Information Needed]）

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人模仿学习提供标准化的数据格式。数据以分块（chunk）形式存储，每个块包含多个Parquet文件和对应的MP4视频文件，其中Parquet文件记录了结构化数据，视频文件则捕获了机器人从前方和腕部摄像头观察到的视觉信息。数据集的元信息通过meta/info.json文件进行描述，包括机器人类型、采样频率（30帧/秒）、特征定义及数据路径等，确保了数据的高效组织与可扩展性。

特点

数据集的核心特点在于其多维感知数据的融合。它同时提供了6维关节空间的动作指令（action）与对应状态观测（observation.state），涵盖了肩关节、肘关节、腕关节及夹爪等关键自由度。此外，数据集包含两路视觉输入——前方视角和腕部视角，分辨率为480×640，为机器人操作任务提供了丰富的环境与末端执行器信息。时间戳、帧索引与任务索引的标注使得时序对齐与任务划分变得便捷，支持高效的离线训练与评估。

使用方法

使用该数据集时，用户可借助LeRobot提供的API直接加载Parquet文件和视频流，通过索引字段实现帧级别或片段级别的数据访问。每个数据样本包含完整的动作序列与对应的观测状态和图像，适用于行为克隆（Behavioral Cloning）等模仿学习算法。用户可根据task_index筛选特定任务的数据，或利用episode_index按回合组织训练样本。数据集的Apache-2.0许可证允许自由的学术与商业使用，便于在机器人操作学习研究中复现与扩展实验。

背景与挑战

背景概述

该数据集由LeRobot框架生成，专为机器人操作任务设计，聚焦于通过模仿学习推动机器人技能习得。创建于近年来，依托HuggingFace社区的开源生态，由研究团队构建，核心研究问题在于如何利用高保真度的机器人演示数据训练具身智能体，从而在精细操作中实现准确实时控制。数据集采集自SO-Follower机器人，记录6自由度关节状态与多视角视觉流，为学习从观测到动作的映射提供结构化基准。其对机器人领域的影响力在于促进可复现的模仿学习研究，降低数据获取门槛，推动家庭服务、精密装配等场景中自主操作能力的泛化。

当前挑战

该数据集所解决的领域问题在于机器人操作中从人类演示到自主控制的泛化鸿沟，即模型需从有限演示中提取鲁棒策略，应对环境与物体姿态的变动。构建过程中面临多重挑战：一是数据采集的精确一致性，需确保SO-Follower机器人末端执行器轨迹的重复性与低噪声；二是多模态数据同步，需对齐每秒30帧的高清视觉流与高频状态信号，避免时间错位；三是任务多样性不足，当前仅记录单一操作场景，难以覆盖复杂交互；四是数据规模有限，总帧数为零的元数据暗示收集尚未完成，可能影响模型训练的有效性。

常用场景

经典使用场景

在机器人学习领域，数据集的构建与质量直接影响模仿学习及强化学习算法的性能。eval_pi05_duct_tape 数据集专为评估机器人精细操作任务而设计，聚焦于胶带粘贴这一典型工业与家居场景。通过提供包含六自由度关节位置（如肩部、肘部、腕部等）的状态与动作数据，以及前视和腕部双视角的高清视频流，该数据集成为训练机器人从示范中学习空间操作策略的经典基准。研究者常利用其同步的动作-状态-图像三元组，开展基于视觉的模仿学习研究，例如训练端到端的策略网络，使机器人能够复现精准的抓取、对齐与粘贴动作，从而验证算法在高维连续动作空间中的泛化能力与鲁棒性。

解决学术问题

该数据集有效回应了机器人操作研究中长期存在的关键挑战，即如何从有限的高质量示范中高效提取可复用的操作技能。传统方法依赖人工编码的规则或低维传感信号，难以应对复杂变形物体（如胶带）的非结构化交互。eval_pi05_duct_tape 通过标准化记录多视角视觉观测与高精度运动轨迹，为学术界提供了一种可量化的评测平台，用以解决模仿学习中的因果混淆问题、多模态感知融合难题，以及小样本条件下的策略泛化困境。其意义在于推动了从感知到动作的端到端建模理论发展，使得研究者能够深入探索视觉表征与运动控制之间的内在映射关系，从而促使机器人操作智能向更灵活、更类人的方向演进。

衍生相关工作

围绕 eval_pi05_duct_tape 数据集，学术界衍生了一系列具有里程碑意义的研究工作。一方面，研究者基于其多模态数据格式开发了跨模态融合的感知模型，如将视觉 Transformer 与关节状态编码器相结合，显著提升了复杂环境下的动作预测精度。另一方面，该数据集被用于验证新颖的行为克隆算法，例如引入时序注意力机制以捕捉长程操作依赖，或通过逆向强化学习推断隐含的奖励函数。此外，若干工作致力于解决数据集规模有限时的数据增强问题，利用扩散模型生成合成示范，进一步扩展了训练数据的多样性。这些衍生研究不仅深化了人们对数据驱动机器人学习的理解，也为后续构建更大规模、更通用化的操作数据集奠定了方法论基础。