two-cam-record-test

该数据集是一个基于LeRobot平台创建的机器人学数据集，包含一个完整的机器人操作episode，总计1196个时间帧，对应一个任务。数据存储格式包括parquet文件和对应的MP4视频文件（总数据量约100MB，视频约200MB），视频帧率为30fps。核心数据特征包括：机器人的动作指令（6维浮点向量，控制肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、机器人的状态观测（6维浮点向量，与动作指令对应相同的关节位置）、来自两个固定摄像头（正面‘front’和侧面‘side’）的图像观测（均为480像素高、640像素宽、3通道的RGB视频流）。此外，还包含时间戳、帧索引、episode索引和任务索引等元数据。数据集仅提供训练集划分，适用于机器人模仿学习、视觉伺服控制、行为克隆等任务的研究与开发。

原始信息汇总

数据集概述

• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集规模与结构

• 总片段数: 51
• 总帧数: 33,980
• 总任务数: 1
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 代码库版本: v3.0
• 机器人类型: so_follower
• 分块大小: 1000 帧/块
• 数据划分: 全部 51 个片段用于训练 (train: 0:51)

特征与数据类型

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 包含: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 包含: 与 action 相同的 6 个关节位置
• 观测图像 (observation.images): 两个摄像头视角
  • front (前方摄像头):
    • 数据类型: 视频 (h264 编码)
    • 分辨率: 480x640，3 通道 (RGB)
    • 帧率: 30 FPS
    • 无音频
  • side (侧面摄像头):
    • 数据类型: 视频 (h264 编码)
    • 分辨率: 480x640，3 通道 (RGB)
    • 帧率: 30 FPS
    • 无音频
• 时间戳 (timestamp): float32，形状 [1]
• 帧索引 (frame_index): int64，形状 [1]
• 片段索引 (episode_index): int64，形状 [1]
• 全局索引 (index): int64，形状 [1]
• 任务索引 (task_index): int64，形状 [1]

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，以so_follower机器人为采集平台，通过双摄像头视角（前视与侧视）同步记录操作过程的视觉与运动信息。数据以51个完整轨迹片段（episodes）的形式组织，总帧数达33980帧，帧率为30 FPS。每个轨迹片段包含6维连续动作指令（肩关节与夹爪位姿）及对应的状态观测，同时记录时间戳、帧索引、轨迹索引等结构化元数据，并以1000帧为单位分块存储于Parquet格式文件中，视频数据则独立编码为H.264格式的MP4文件。

使用方法

用户可通过HuggingFace的`datasets`库加载本数据集，或在LeRobot生态中直接调用可视化工具（如`visualize_dataset`）预览视频与轨迹。加载时需指定`two-cam-record-test`名称并利用Parquet与视频分片路径模式自动整合数据。由于所有轨迹均标注为训练集，开发者可直接将特征字段（如`observation.images.front`、`action`）输入策略网络进行行为克隆或强化学习训练。同时，借助LeRobot提供的代码基线，可快速实现数据回放、数据增强及策略评估等实验环节。

背景与挑战

背景概述

该数据集创建于现代机器人学习研究蓬勃发展的时期，由HuggingFace社区的研究人员利用LeRobot框架构建，旨在为机器人操作任务提供标准化的多模态数据资源。核心研究问题聚焦于如何融合双视角视觉信息与动作状态数据，以推动模仿学习与强化学习算法在真实机器人平台上的应用。数据集包含51个示范片段、近34000帧图像，记录了“so_follower”机器人在单一任务下的操作轨迹，其影响力体现在为学术界与工业界提供了一个可供复现与基准测试的数据基础，促进了机器人学习领域数据驱动方法的标准化进程。

当前挑战

数据集所解决的领域问题在于，机器人操作任务长期面临数据获取成本高、视角单一导致泛化能力不足的挑战，而该数据集通过双摄像头配置（前视与侧视）缓解了视觉感知的不完整性。构建过程中遭遇的挑战包括：首先，需要协调双摄像头的时间同步与标定精度，确保40帧每秒的视频流与6维动作控制信号严格对齐；其次，51个示范片段的规模虽可验证方法可行性，但相对于复杂任务所需的万级数据量仍显不足，易引发过拟合；最后，H.264编码视频虽压缩高效，却可能引入伪影，影响视觉特征提取的鲁棒性。

常用场景

经典使用场景

在机器人学习与模仿学习的前沿领域中，two-cam-record-test数据集以高保真的双视角视频和机器人状态序列为核心，为从人类演示中学习复杂操作技能提供了典范性的训练材料。该数据集通过双摄像头（正面与侧面）同步采集480×640分辨率的视觉流，并配套记录六自由度关节动作与状态轨迹，典型应用于基于视觉的运动策略学习。研究者可利用Chunk-1000的时序数据结构，将连续的演示片段切分为可学习的子任务单元，配合30帧/秒的采样频率，使得行为克隆、逆强化学习乃至扩散策略等经典算法能够在细粒度的时空关联中精准建模机械臂的灵巧操控动作。

解决学术问题

该数据集直面机器人技能学习中“多模态感知与动作对齐”的核心困境，有效缓解了单纯依赖单目视觉带来的空间歧义性问题。通过引入正面与侧面双视角图像，它解决了在执行任务（如力位耦合的抓取与放置）时，因单一视角遮挡或深度信息缺失而导致的状态估计偏差。此外，标准化存储的6维关节动作和观测状态为研究“状态-动作”映射中的因果推断与泛化能力提供了可复现的基准，推动学界攻克数据效率低下、领域偏移等长期困扰模仿学习落地的关键学术壁垒。

实际应用

在实际生产与实验场景中，该数据集可无缝对接LeRobot生态，加速机器人操作技能的从仿真到真机迁移。例如，在工业精密装配、医疗辅助操作或家庭服务机器人领域，开发者能够基于这些低延迟的视动数据训练出适应动态环境变化的控制策略。双摄像头的布局尤其适用于需要避障与方位感知的作业，如从传送带上分拣不规则零件或执行桌面整理任务，仅凭100MB的原始数据与200MB的视频资源，便能在嵌入式设备上完成轻量化模型的快速迭代与部署。

数据集最近研究

最新研究方向

在机器人学习领域，数据驱动的方法正以前所未有的速度重塑机械臂精细操作的研究范式。作为基于LeRobot框架构建的双视角观测数据集，two-cam-record-test聚焦于so_follower机械臂的灵巧操控任务，其51条轨迹（近34,000帧）与多模态融合特性（6维动作空间、双路H.264编码高清视频及同步状态记录）使其成为探索模仿学习与行为克隆的前沿试验场。当前，研究者正利用此类高保真专家演示数据，构建端到端的视觉-运动策略网络，通过从多视角图像与关节角度的联合嵌入中提取时空特征，突破传统运动规划在非结构化环境中的泛化瓶颈。该数据集的设计与NVIDIA Isaac Gym中涌现的隐式行为克隆框架形成呼应，其将视频流与低维状态对齐的架构，可有效支撑基于扩散策略的机器人技能习得研究。随着开源社区对LeRobot数据流水线的标准化推动，此类精细标注的数据集正加速从遥操作示范到复杂装配任务策略迁移的工程落地，为通用机器人操作基础模型的训练奠定关键数据基石。