manfrome/battery_pickup_v2

该数据集是一个机器人操作数据集，由LeRobot创建，专注于电池拾取任务（battery_pickup_v2）。它包含54个episodes，总计32182帧数据，以parquet和mp4格式存储。数据集的特征包括机器人的6维动作（如肩部、肘部、手腕和夹爪的位置）、观测状态（与动作相同的6维位置信息）、来自顶部摄像头（cam_top）和侧面摄像头（cam_ide）的视频图像（分辨率为360x640，3通道，30fps），以及时间戳、帧索引、episode索引、任务索引等元数据。机器人类型为so_follower，数据采样频率为30fps，适用于机器人学习和控制任务。This dataset is a robotic manipulation dataset developed by LeRobot, focusing on the battery_pickup_v2 task. It comprises 54 episodes with a total of 32182 frames, stored in both parquet and MP4 formats. The dataset includes the following features: 6-dimensional robot actions (e.g., positions of the shoulder, elbow, wrist, and gripper), observation states (identical 6-dimensional position information to the actions), video images from the top camera (cam_top) and side camera (cam_ide) with a resolution of 360×640, 3 color channels, and 30fps, as well as metadata such as timestamps, frame indices, episode indices, and task indices. The robot platform is so_follower, with a data sampling frequency of 30fps, and it is suitable for robotic learning and control tasks.

搜集汇总

数据集介绍

构建方式

battery_pickup_v2数据集是基于LeRobot框架构建的机器人操作数据集，专为模仿学习与机器人控制任务设计。该数据集通过远程操控so_follower型机械臂，在真实环境中完成电池拾取任务，并以30帧每秒的频率同步记录机械臂关节角度动作（action）、对应观察状态（observation.state）以及顶部与侧方两路摄像头实时画面（cam_top与cam_side）。数据以parquet格式存储结构化数值信息，视频流则采用AV1编码的MP4文件保存，共计54个episode、32182帧，覆盖单一任务场景。

特点

battery_pickup_v2数据集的核心优势在于其多模态融合特性与精细的时序对齐能力。包含6维动作与状态数据（涵盖肩部、肘部、腕部及夹爪位置），搭配两路高清视频（360×640分辨率）同时捕获环境局部与全局视角。数据采用分层分块存储策略（chunk_size=1000），并附有完整的时间戳与帧索引，便于时序建模与因果推理。所有数据划分明确（训练集：episode0-53），适用于评估机器人策略的泛化性能与长期任务执行能力。

使用方法

使用该数据集需安装LeRobot库并兼容PyAV视频后端。用户可通过HuggingFace Spaces内置可视化工具直接浏览数据样例。加载时利用LeRobot的DataLoader模块，按episode索引读取parquet文件中的数值特征与同步的MP4视频流，无需手动处理视频编解码。建议采用标准的时序模型（如Transformer或基于CNN的策略网络）进行模仿学习训练，输入可融合关节状态与图像特征，输出为连续动作序列。数据符合Apache-2.0协议，支持学术研究与商业应用的二次开发。

背景与挑战

背景概述

在机器人操作领域，数据驱动的学习范式正逐渐取代传统的基于模型的控制方法，然而高质量、多样化的操作数据集仍十分匮乏。电池拾取任务作为精细操作的代表性场景，涉及物体识别、抓取规划与力控制等多重挑战。battery_pickup_v2数据集由Hugging Face社区的研究者通过LeRobot框架创建，采用so_follower机械臂，配备顶部与侧面双视角摄像头，以30帧/秒的频率采集了54个回合、总计约3.2万帧的演示数据。该数据集聚焦于单一操作任务，即从固定位置拾取电池，其结构化存储格式与Apache-2.0许可协议为机器人模仿学习研究提供了标准化、可复用的训练资源，有助于推动操作技能从仿真环境向真实场景的迁移。

当前挑战

电池拾取任务的核心挑战在于其所需的精确控制与感知鲁棒性。在领域问题层面，数据集聚焦的精细抓取操作要求机器人能够应对不同光照、电池姿态变化以及表面反射带来的视觉干扰，且演示数据仅包含单一任务，限制了对泛化能力的研究。在构建过程中，挑战体现在数据采集的一致性控制上：虽利用LeRobot框架实现标准化录制，但仅靠54个演示回合难以覆盖抓取失败的边缘案例；同时，视频采用AV1编码以平衡质量与存储，却可能引入压缩伪影，影响后续视觉特征提取的可靠性。此外，动作与状态空间均为6维关节位置，未包含力矩或力传感器信息，这限制了对接触力等关键物理交互信号的建模能力。

常用场景

经典使用场景

在机器人学习领域，battery_pickup_v2数据集是一个专为模仿学习与行为克隆研究而构建的高质量基准。该数据集记录了SO-100型双臂协作机器人执行电池抓取与分拣任务的完整轨迹，包含从顶部和侧方双视角同步采集的视觉信息以及六维关节状态与动作序列。研究者常以此作为训练端到端操作策略的标准素材，通过利用30帧每秒的高频采样与多模态观测，构建从像素到电机控制指令的映射函数，从而在可控环境下验证算法对精细抓取动作的复现能力。

解决学术问题

该数据集首先着力解决了机器人操作中接触式精细动作难以建模的瓶颈问题，提供了包含力反馈与位姿调整的自然演示样本。其次，借助54个高质量示范片段与超过3万帧的连续轨迹，为探索小样本模仿学习、轨迹泛化及跨任务迁移提供了可控的落脚点。此类资源的开放显著推动了视觉-动作联合表示学习的研究进展，使学者能够更可靠地量化算法在动态接触任务上的泛化误差与鲁棒性，进而催生了关于示范数据质量、自主探索与稀疏奖励设计的系列理论创新。

衍生相关工作

围绕battery_pickup_v2数据集，学术界衍生出多项具有奠基意义的研究工作。基于其提供的动作-观测对，研究者开发了面向多视角融合的编码器-解码器架构，如目标条件式隐空间规划器，用于提升策略对视觉干扰的鲁棒性。同时，该数据集常被用于对比不同策略学习范式，包括扩散策略、基于能量模型的模仿学习以及逆强化学习方法在接触任务上的表现。此外，围绕其独有的so_follower机器人构型，开源社区被激发了针对非完整约束系统模仿学习与交互式纠正机制的深入探讨，进一步拓宽了灵巧操作领域的研究边界。