put_battery_into_basket

这是一个使用LeRobot工具创建的机器人操作数据集，包含2个剧集，共1159帧，1个任务，4个视频，1个片段，每个片段大小为1000。数据集特征包括动作位置、观察状态、前方图像、俯视图像、时间戳等，适用于机器人操作相关的研究和开发。

原始信息汇总

数据集概述

基本信息

• 名称: put_battery_into_basket
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 数据文件: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.1
• 机器人类型: pingti_follower
• 总集数: 2
• 总帧数: 1159
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 分割:
  • 训练集: 0:2

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.front):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 帧率: 30
    • 通道数: 3
    • 是否有音频: false
• 观测图像 (observation.images.overhead):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息: 同 observation.images.front
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，put_battery_into_basket数据集通过LeRobot平台精心构建，采用模块化数据采集策略。该数据集包含2个完整操作序列，共计1159帧视频数据，以30fps的采样频率记录机械臂六自由度关节角度、双视角视觉信息及时间戳等多元模态数据。数据以分块存储的Parquet格式组织，每个数据块包含1000帧标准化数据，确保高效存取与处理。

特点

该数据集显著特点在于其多模态同步采集能力，同时涵盖机械臂的6维关节空间动作指令（shoulder_pan至gripper）与对应的状态反馈。双路视觉通道分别提供480×640分辨率的前视与俯视场景视频，采用AV1编码保障数据压缩效率。数据结构严格遵循时间序列，通过frame_index和episode_index实现精确帧级对齐，为模仿学习算法提供精准的时空对应关系。

使用方法

研究者可通过解析Parquet文件获取结构化操作数据，配合配套MP4视频文件进行视觉验证。数据加载时需注意特征字段的特定维度，如动作空间的6维浮点数组对应机械臂各关节位置。训练集划分已预设为完整2个序列，建议利用timestamp字段进行时间序列建模，或结合observation.images字段实现视觉-动作联合训练。

背景与挑战

背景概述

put_battery_into_basket数据集是机器人操作任务领域的重要数据资源，由LeRobot团队基于Apache 2.0开源协议创建。该数据集聚焦于机械臂执行物体抓取与放置的核心任务，通过记录6自由度机械臂的关节位置、夹持器状态以及多视角视觉观测数据，为机器人动作规划与视觉伺服控制研究提供了丰富的实验数据。数据集采用模块化存储架构，包含1159帧30fps的高清视频流和同步传感器数据，特别适用于模仿学习与强化学习算法的训练与验证。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，机械臂的精确抓取需要解决高维动作空间与视觉感知的实时匹配难题，特别是在物体遮挡和光照变化条件下的鲁棒性控制；在构建过程层面，多模态数据的时间同步、大规模视频数据的高效压缩存储（采用AV1编解码）、以及机械臂动作与视觉观测的精确标定都构成了显著的技术挑战。此外，当前数据集规模相对有限，仅包含2个完整操作序列，可能影响深度学习模型的泛化能力。

常用场景

经典使用场景

在机器人操作任务研究中，put_battery_into_basket数据集被广泛应用于机械臂抓取与放置任务的算法开发。该数据集通过记录机械臂关节位置、夹爪状态以及多视角视频数据，为研究人员提供了丰富的机器人操作轨迹信息。在机器人学习领域，该数据集常被用于训练和评估模仿学习、强化学习等算法在物体抓取任务中的表现。

实际应用

在实际应用中，该数据集支持了仓储物流、工业装配等场景的机器人开发工作。基于该数据集训练的算法可以应用于电池分拣、物料搬运等具体任务，提高工业自动化水平。数据集包含的多模态信息特别适合开发需要视觉反馈的智能抓取系统，为实际工业应用提供了可靠的技术支持。

衍生相关工作

围绕该数据集，研究社区已经衍生出多项重要工作。包括基于深度强化学习的抓取策略优化、多模态传感器融合的物体定位算法等。这些工作充分利用了数据集提供的关节位置和视觉信息，在机器人操作精度和鲁棒性方面取得了显著进展，推动了整个领域的技术发展。