insert-mouse-battery_rl_224

该数据集是一个用于机器人控制任务的专用数据集，使用LeRobot工具创建，针对Yam类型双机械臂机器人。数据集规模为1119个完整episodes，总计3,080,624帧数据，帧率为60fps，采用Apache-2.0许可证。数据包含多模态观察和动作：观察状态包括14维浮点数向量，表示左右机械臂的关节状态（如腰部、肩部、肘部等）；命令状态为字符串；动作为14维浮点数向量，对应关节控制指令。图像观察包括三个摄像头的RGB视频数据（左腕、右腕和高位摄像头），分辨率为224x224、3通道，使用h264编码。此外，数据集还包含时间戳、帧索引、episode索引、任务索引、奖励信号和mc_return等元数据。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，仅包含训练分割，适用于机器人强化学习、模仿学习和行为克隆等任务的研究和模型训练。This dataset is a specialized dataset for robot control tasks, created using the LeRobot tool and designed for Yam-type dual-arm robots. It consists of 1119 complete episodes, totaling 3,080,624 frames at a frame rate of 60fps, and is licensed under Apache-2.0. The data includes multimodal observations and actions: observation states are represented by a 14-dimensional floating-point vector indicating joint states of the left and right arms (e.g., waist, shoulder, elbow); command states are strings; actions are a 14-dimensional floating-point vector corresponding to joint control commands. Image observations comprise RGB video data from three cameras (left wrist, right wrist, and overhead cameras) with a resolution of 224x224, 3 channels, encoded in h264. Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, task indices, reward signals, and mc_return. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB, containing only training splits, making it suitable for research and model training in tasks like robot reinforcement learning, imitation learning, and behavior cloning.

原始信息汇总

数据集概述：insert-mouse-battery_rl_224

• 许可协议: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集结构

• 代码库版本: v3.0
• 机器人类型: yam
• 总集数: 1119
• 总帧数: 3,080,624
• 总任务数: 1
• 块大小: 1000
• 帧率 (fps): 60
• 数据划分: 训练集 (train) 包含全部 1119 个片段 (0:1119)

数据文件

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

特征详情

特征名称	数据类型	形状	说明
observation.state	float32	[14]	14维机器人关节状态，包含左右手臂的腰部、肩部、肘部、前臂旋转、腕部角度、腕部旋转及夹爪
observation.commander_state	string	[1]	指挥官状态
action	float32	[14]	14维动作指令，与机器人关节状态维度对应
observation.images.cam_left_wrist	video	[224, 224, 3]	左手腕摄像头画面，分辨率224x224，RGB三通道
observation.images.cam_right_wrist	video	[224, 224, 3]	右手腕摄像头画面，分辨率224x224，RGB三通道
observation.images.cam_high	video	[224, 224, 3]	高位摄像头画面，分辨率224x224，RGB三通道
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	索引
task_index	int64	[1]	任务索引
reward	float32	[1]	奖励值
mc_return	float32	[1]	蒙特卡洛回报

视频编码信息

• 编解码器: h264
• 像素格式: yuv420p
• 是否为深度图: 否
• 音频: 无

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人插拔鼠标电池的精细操作任务。数据采集自YAM型机器人，通过遥操作方式记录1119个演示回合，总帧数超过300万，采样频率为60赫兹。数据以分块Parquet格式存储，每块包含1000帧，并同步保存来自三个视角（高位相机、左腕相机、右腕相机）的224×224像素视频流，编码采用H.264格式，确保视觉信息的高效压缩与高保真度。

特点

数据集的核心特色在于其多模态融合特性：状态空间涵盖14维机器人关节角度（含左右臂各7个自由度），动作空间与之完全对齐，便于模仿学习中的直接策略映射。同时，采集的奖励信号与蒙特卡洛回报为强化学习提供了明确的优化目标。所有时间序列数据均严格同步至60帧/秒，并通过索引与时间戳实现帧级对齐，支持长程时间依赖建模。

使用方法

用户可借助LeRobot库直接加载数据集，框架自动处理视频解码与特征重构。训练时，将观察状态与多视角图像作为输入，以对应动作作为监督信号，适用于行为克隆或离线强化学习算法。数据集已预设训练切分（前1119回合），无需额外划分，且可通过episode_index字段灵活抽取特定演示子集，适合验证模型在少样本场景下的泛化能力。

背景与挑战

背景概述

该数据集由jellyho团队基于LeRobot框架构建，专注服务于机器人操作领域的插电池任务（Insert Mouse Battery），旨在为模仿学习与强化学习研究提供高质量的示范数据。数据集创建于近年，采用YAM型双臂机器人平台，采集了1119个示范回合，包含超过300万帧的连续状态与动作序列，频率高达60帧每秒。通过14维关节空间状态与640x224的视觉信息，数据集从多视角记录高精度操作过程，为机器人精细抓取与装配任务提供基准。凭借其标准化的数据结构、开源Apache-2.0许可及与LeRobot生态的紧密集成，该数据集在机器人操作领域具备重要影响力，推动了从感知到控制端到端学习的研究进展。

当前挑战

构建服务于精密操作任务的数据集面临多重挑战。首先，插电池任务要求机器人完成毫米级的高精度对准与插入动作，涉及复杂的双手协同与触觉反馈，传统单一视觉或关节数据难以完整捕捉操作细节。其次，数据采集过程需解决机械系统非线性摩擦、关节漂移及视点遮挡等问题，确保连续示范的鲁棒性与一致性。此外，领域问题中的泛化性难题显著，数据集仅限于单一任务与固定机器人构型，缺乏对操作姿态、电池形状及工作空间变化的覆盖。构建过程中，数据同步、高帧率视频编码及大容量存储（约300MB）也对计算资源提出严苛要求，需平衡数据密度与采集效率。

常用场景

经典使用场景

在机器人操作与模仿学习的交汇地带，insert-mouse-battery_rl_224数据集作为一款专注于精密装配任务的基准资源，承载着推动灵巧操作研究前行的使命。该数据集以YAM双臂机器人为核心平台，收集了超过千次将鼠标电池精准插入电池仓的完整操作轨迹，涵盖约三百万帧高频时序数据。每条轨迹均包含14维关节状态指令、来自左腕、右腕及高空视角的224x224分辨率的同步视频流，以及与之对应的动作序列。这种多模态、高保真的数据组合，为训练端到端的行为克隆模型、融合视觉与力觉信息的深度强化学习算法，乃至构建精细操作的预训练基础模型奠定了坚实的实验基础。研究者得以在此之上验证算法对微小间隙装配、力矩控制及环境扰动鲁棒性的掌握程度，是推动灵巧操作从实验室走向现实的关键试金石。

衍生相关工作

该数据集的发布催生了一系列标志性的学术探索与技术衍生。作为LeRobot开源社区生态的重要组成部分，它常与ACT（Action Chunking with Transformers）及Diffusion Policy等前沿模型配合使用，被大量基准论文采纳以验证长时序预测与多模态策略融合的效果。在其基础上衍生出的工作，有的侧重于利用因果时序建模改进数据集中的高维动作空间表示，有的则尝试引入对比学习视角，从多视角视频流中提炼出对关节状态变化的鲁棒表征。进一步地，基于该数据集的迁移学习研究催生了跨任务微调框架，证实了在鼠标电池插入任务上预训练的视觉编码器，能够显著加速同类型装配任务（如USB接口插拔）的收敛速度。这些衍生工作不仅扩展了数据集的学术影响力，更反哺了机器人策略预训练范式的整体演进，使得精细操作领域的知识沉淀与复用成为可能。

数据集最近研究

最新研究方向

在机器人精细操作领域，insert-mouse-battery_rl_224数据集聚焦于双机械臂协同完成电池插入这类高精度装配任务，通过记录YAM机器人1119个成功回合中超过300万帧的14维度关节状态与多视角视觉信息，为模仿学习与强化学习提供了密集的示范数据。当前研究热点在于利用该数据集的60Hz高频时序信号与224×224分辨率的腕部及全局相机视图，驱动端到端策略网络学习从视觉观测到关节动作的复杂映射，尤其关注灵巧操作中的力位混合控制与长时域决策规划。结合LeRobot生态的标准化采集格式，该数据集正推动可重复的机器人技能迁移研究，并在人机协作、精密装配等工业场景中展现出推动自动化技术落地的关键价值。