so101_two_cam

该数据集是使用LeRobot创建的，专为机器人技术领域设计，采用apache-2.0许可证。数据集包含50个episodes，共计14682帧，涉及1个任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作数据、观察状态、来自腕部和基座摄像头的视频图像，以及时间戳、帧索引、episode索引等多个索引字段。动作和观察状态数据包含6个浮点型字段，分别对应机器人的不同关节位置。视频数据分辨率为480x640，3通道，编码格式为av1。数据集适用于机器人控制、行为学习等任务。

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进展至关重要。so101_two_cam数据集依托LeRobot平台构建，通过搭载双摄像头的so101_follower机器人采集真实世界交互数据。该数据集包含50个完整任务片段，总计14682帧，以30帧每秒的速率记录。数据以分块Parquet文件形式组织，每块约1000帧，并同步存储了对应的AV1编码视频文件，确保了原始感官观察与机器人关节状态动作的精确对齐与高效存取。

特点

该数据集的核心特征在于其多模态与结构化的数据表示。它同时提供了机器人本体状态与双视角视觉观察：本体状态包括肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置共6个维度的浮点数值；视觉观察则分别来自腕部顶端与基座的两个摄像头，均以480x640分辨率的三通道RGB视频流呈现。所有数据均附带精确的时间戳、帧索引与片段索引，形成了时空对齐的序列，为端到端策略学习提供了丰富的状态-动作对范例。

使用方法

为便于学术研究与算法开发，该数据集已预先划分为训练集，涵盖全部50个任务片段。使用者可通过HuggingFace数据集库直接加载，并利用LeRobot提供的标准数据加载器接口进行访问。数据以字典形式返回，键值对应不同的特征字段，如观测图像、关节状态与动作指令。研究人员可借此数据集训练视觉运动策略，验证模仿学习算法的有效性，或作为真实机器人仿真验证的基准。其标准化的格式确保了与主流机器人学习框架的兼容性，降低了使用门槛。

背景与挑战

背景概述

在机器人学习领域，模仿学习与视觉感知的结合正成为推动自主系统发展的关键驱动力。so101_two_cam数据集依托LeRobot开源框架构建，专注于解决双视角视觉引导的机械臂操作任务。该数据集由HuggingFace社区贡献，旨在为机器人模仿学习提供多模态、时序对齐的真实世界交互数据。其核心研究问题在于如何从异构传感器数据中学习鲁棒的控制策略，特别是融合腕部与基座摄像头信息以提升在动态环境中的操作泛化能力。该数据集的发布为机器人社区提供了宝贵的基准资源，促进了视觉运动策略学习算法的实证研究与性能评估。

当前挑战

该数据集旨在应对机器人模仿学习中视觉运动策略泛化能力不足的挑战，尤其是在非结构化环境中处理多视角视觉输入与连续动作空间的映射问题。构建过程中面临诸多技术难题，包括双摄像头数据的精确时间同步、高维视频流与低维状态动作对的高效对齐存储，以及真实世界交互数据采集的噪声抑制与标注一致性保障。此外，数据规模有限与任务多样性不足也制约了模型在更广泛场景下的迁移学习潜力，亟待通过扩展数据采集范围与引入更复杂的任务范式来突破现有瓶颈。

常用场景

经典使用场景

在机器人学习领域，多视角视觉数据对于提升模型的环境感知能力至关重要。so101_two_cam数据集通过提供来自顶部手腕摄像头和基座摄像头的双视角图像序列，结合六自由度机械臂的关节位置与抓取器状态，为模仿学习与强化学习算法提供了丰富的训练素材。研究者能够利用这些同步的多模态观测数据，训练机器人执行复杂的抓取与操作任务，从而在仿真与真实世界之间搭建起高效的技能迁移桥梁。

解决学术问题

该数据集有效应对了机器人操作任务中样本效率低下与泛化能力不足的核心挑战。通过提供结构化的真实世界交互轨迹，它支持端到端策略学习的研究，允许算法直接从原始视觉输入中推断动作。这有助于探索如何利用多视角视觉信息来提升状态估计的鲁棒性，以及研究在部分可观测环境中，如何融合不同传感器的数据以做出更精确的决策，推动了数据驱动机器人控制方法的前沿发展。

衍生相关工作

围绕此类多视角机器人数据集，学术界已衍生出诸多经典研究工作。例如，基于视觉的模仿学习框架如行为克隆（BC）与对抗性模仿学习（GAIL）常利用此类数据进行策略训练。同时，在表示学习领域，研究如何从多视角视频中提取解耦的、任务相关的特征表示也成为一个活跃方向。这些工作共同推动了机器人感知-控制一体化模型的进步，并为后续更大规模机器人数据集的构建设立了参考标准。