lilkm/so100_gamepad_usb_insert_debug_2

该数据集由LeRobot创建，主要用于机器人技术领域。数据集包含5个episodes、703帧和1个任务，数据以parquet格式存储。数据集特征包括动作（包含delta_x、delta_y、delta_z和gripper）、奖励、完成状态、观测图像（顶部和手腕摄像头图像，128x128分辨率）和状态信息等。视频数据以10fps的帧率存储，采用AV1编解码器。数据集总大小为300MB（数据文件100MB，视频文件200MB）。

This dataset was created using LeRobot and is primarily used in the robotics field. It contains 5 episodes, 703 frames, and 1 task, with data stored in parquet format. The dataset features include actions (with delta_x, delta_y, delta_z, and gripper), rewards, done status, observation images (top and wrist camera images at 128x128 resolution), and state information. Video data is stored at 10fps using the AV1 codec. The total dataset size is 300MB (100MB for data files and 200MB for video files).

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，旨在为机器人USB插入任务提供精细化的控制数据。采集过程通过SO100型灵巧手结合游戏手柄进行遥操作，记录下机械臂末端执行器的四维动作信息（包括delta_x、delta_y、delta_z及夹爪开合度），同时以10帧/秒的速率同步捕获顶置与腕部双路128×128分辨率的视觉影像，并保存完整的18维机器人状态向量。数据被组织为5个完整的演示回合，共计703帧，经Parquet格式压缩存储，视频则以AV1编码的MP4文件进行高效归档。

特点

本数据集的一大亮点在于其多模态融合特性，将高频率的动作指令、低延迟的状态反馈与双视角视觉观测紧密耦合，为模仿学习提供了丰富的时空上下文。数据特征设计精巧，包含时间戳、帧序号、回合索引等结构化元信息，便于轨迹分割与回放。特别地，该数据集内置了离散惩罚项（discrete_penalty）作为补充奖励信号，这对于训练稳健的强化学习策略具有重要价值。此外，数据采用分块（chunk）存储策略，兼顾了大容量视频数据的管理效率与随机读取性能。

使用方法

使用者可通过LeRobot库提供的统一接口轻松加载该数据集。配置文件中已预设默认数据路径，其规范的features定义使得代码对动作、观测或奖励字段的访问变得直观且类型安全。推荐使用Hugging Face Spaces上的可视化工具（Visualize this dataset）进行数据预览，以直观检查演示质量。在模型训练时，可将训练集/验证集按5:0的比例直接划分，利用预定义的Parquet数据块与MP4视频文件实现流式加载，从而高效处理总计约300MB的多媒体数据。

背景与挑战

背景概述

该数据集名为so100_gamepad_usb_insert_debug_2，由LeRobot社区基于其开源机器人学习框架创建，旨在为精细操作任务提供标准化训练数据。数据集围绕USB接口插入这一典型装配场景构建，记录了机械臂执行微量位移与夹持器控制的完整轨迹，涵盖delta_x、delta_y、delta_z及gripper四个动作维度，并通过顶置与腕部双视角摄像头采集128×128像素的视觉观测。尽管数据集规模有限（5个episode，703帧），但其采用Apache-2.0协议开放，依托LeRobot生态为机器人模仿学习与策略泛化研究提供了低门槛的基准工具，尤其在高精度操作任务中具有探索价值。

当前挑战

当前数据集面临的核心挑战包括：1）领域问题层面，USB插入任务要求机械臂在极小的容差范围内完成毫米级定位与姿态调整，对动作策略的鲁棒性与实时反馈能力提出严苛要求，然而仅依赖10帧/秒的视觉采样与4维动作空间，难以捕捉高频动态响应中的瞬态误差；2）构建过程层面，数据集仅含单一任务和5条episode，样本量严重不足，限制了多模态融合与迁移学习的泛化评估，同时缺乏标注的奖励信号和任务变体，易导致过拟合与策略脆弱性，且未公开机器人型号与硬件参数，阻碍了跨平台复现与扩展研究。

常用场景

经典使用场景

so100_gamepad_usb_insert_debug_2数据集专为机器人灵巧操作研究而设计，其核心场景聚焦于学习从视觉观测到精细动作的映射关系。该数据集记录了机械臂通过夹爪完成USB接口插入这一高精度任务的全过程，包含顶部与腕部双视角的128×128像素视频流，以及四维动作信号（三维平移与夹爪开合）。研究者可基于此训练模仿学习或强化学习模型，使机器人掌握在狭小空间中实现亚毫米级对齐与插入的操控策略。

衍生相关工作

基于此类精细操作数据，学术界已衍生出行为克隆（BC）与扩散策略（Diffusion Policy）等经典工作。例如，研究者利用LeRobot框架在该类数据上验证了“通过语言条件化实现多任务泛化”的新范式。另有工作专注于改进数据增广方法，如随机化背景与光照以增强视觉表征的泛化能力，或设计时空编码器来捕捉USB插入过程中的时序依赖性，这些工作共同构建了从数据到通用操作的大模型训练闭环。

数据集最近研究

最新研究方向

在机器人学习领域，so100_gamepad_usb_insert_debug_2数据集聚焦于精细操作任务的模仿学习与行为克隆，尤其关注USB接口插拔这类高精度接触性动作。伴随具身智能浪潮的兴起，机器人从环境交互中学习细粒度操控能力成为热点，该数据集通过游戏手柄采集的操控轨迹与多视角视觉输入，为研究人机协同下的复杂装配任务提供了标准化训练样本。其结构化的动作空间与低廉的实现成本，有助于推动低成本机器人数据集构建范式，进而加速基于示范学习的通用智能体在制造业、家庭服务等场景的落地应用。