Stalkszither/camMono

该数据集是一个机器人学数据集，使用LeRobot创建。它包含50个episodes，总计37918帧数据，帧率为30fps。数据集记录了so_follower类型机器人的动作和观测数据：动作包括6个关节（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的位置；观测状态包括相同的6个关节位置；视频观测来自两个摄像头（front和side），分辨率为480x640，RGB格式，编码为av1。此外，数据集还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。数据以parquet文件（总大小约100MB）和mp4视频文件（总大小约200MB）格式存储，用于训练任务。This dataset is a robotics dataset created using LeRobot. It contains 50 episodes with a total of 37,918 frames at 30 fps. The dataset records actions and observations for a so_follower robot type: actions include positions of 6 joints (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper); observation states include the same 6 joint positions; video observations come from two cameras (front and side) with 480x640 resolution, RGB format, encoded in av1. Additionally, the dataset includes metadata such as timestamp, frame index, episode index, index, and task index. Data is stored in parquet files (total size ~100MB) and mp4 video files (total size ~200MB), intended for training tasks.

搜集汇总

数据集介绍

构建方式

camMono数据集是基于LeRobot框架构建的机器人操纵数据集，通过远程操作记录机器人执行单一任务时的多模态数据。数据采集以30帧每秒的速率同步记录六自由度关节动作与状态信息，同时利用前置与侧方两个摄像头采集640×480分辨率的RGB视频流。所有数据被组织为50个独立片段，共计37918帧，并以Parquet格式存储结构化信息，视频则采用AV1编码压缩为MP4文件，确保了数据的高效存储与完整性。

特点

该数据集的核心特色在于其多模态融合与精细化的时间对齐。每个数据样本同时包含机器人关节的空间位姿、视觉观测以及时间戳与帧索引，为模仿学习与行为克隆提供了完备的输入空间。数据集中所有片段对应于同一任务，且任务索引单一，有助于聚焦于特定操纵技能的学习。此外，数据集以Apache-2.0许可证开源，并支持通过LeRobot生态进行可视化与预处理，降低了使用门槛。

使用方法

利用camMono数据集进行模型训练时，可借助LeRobot库加载Parquet文件与视频数据，通过时间戳与帧索引对齐动作与观测序列。典型应用包括训练逆向动力学模型或行为克隆策略，其中动作空间为6维关节位置指令，观测空间则由关节状态与双视角图像组成。研究者可直接使用数据集中预划分的训练集（前50个片段），或基于chunks_size参数自定义批次加载，以适配不同规模的学习算法。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过专家示教使机器掌握复杂操作技能，而大规模、高质量的示教数据集是推动该技术发展的基石。数据集camMono由用户Stalkszither于2026年创建，基于LeRobot框架构建，旨在为机械臂的单任务操作提供标准化训练资源。该数据集聚焦于6自由度机械臂“so_follower”的关节空间控制，包含50个示教片段、总计37918帧的高频（30 FPS）传感器记录，涵盖肩部、肘部、腕部及夹爪的完整运动序列，同时配备前后双向640×480像素视觉观测。作为LeRobot生态中的一部分，camMono为机器人领域研究者提供了可控条件下的多模态对齐数据，尤其推动了基于视觉的机械臂操控研究，其开源Apache-2.0许可也促进了社区内的数据共享与算法复现。

当前挑战

当前机器人示教数据集面临多重挑战。从领域问题来看，机械臂操作任务需解决高维连续动作空间下的精确模仿学习难题，尤其是夹爪抓取与多关节协同运动的动态耦合关系极难建模，现有算法在处理此类非线性控制时泛化能力不足。从数据集构建本身而言，camMono采用单任务设计（仅含一个操作目标），缺乏任务多样性与场景迁移能力，且示教数据仅来自单一视角的视觉记录，缺失深度与触觉模态的互补信息，限制了多模态融合方法的评估。此外，300帧/秒的高频采样虽保障时序分辨率，但100MB的存储体积与50个片段的规模仍显局促，如何在成本可控下扩展数据量并引入随机化环境干扰，是提升数据集实用性的关键瓶颈。

常用场景

经典使用场景

在机器人学习与灵巧操控领域，camMono数据集凭借其规范的采集格式和丰富的多模态信息，成为训练和评估机器人视觉运动策略的经典基准。该数据集以30帧/秒的速率同步记录机械臂6自由度关节状态与前后双视角视觉影像，覆盖50个完整操作回合，总帧数达37918帧。研究者常将其用于模仿学习算法的性能验证，例如行为克隆或逆强化学习，通过观察-动作对映射实现从人类示教到机器人自主执行的技能迁移。此外，其结构化的任务索引和统一编码的命名约定，使得数据加载与预处理流程高度标准化，尤其适合作为LeRobot生态系统下的对比基准，推动端到端操控策略的复现与创新。

衍生相关工作

camMono数据集催生了多条富有影响力的技术演进路线。在算法层面，研究者基于其规范的多模态结构，开发了结合视觉特征与关节状态的门控模仿学习网络，显著提升了动作预测的上下文感知能力。在系统层面，LeRobot框架借鉴了该数据集的chunk分块与视频编码方案，构建了分布式演示管理中间件，使跨机器人平台的数据复用成为可能。此外，有团队利用其双视角图像数据作为测试基准，验证了对抗性域适应方法在跨实体迁移操控策略时的有效性，推动无标定示教学习向真实产线部署迈出关键一步。这些衍生工作不仅验证了数据集的高质量，更将数据驱动的机器人学习从实验室推向更复杂的开放环境。

数据集最近研究

最新研究方向

在机器人模仿学习与遥操作领域，camMono数据集凭借其高保真视觉-动作对齐特性，正成为探索少样本灵巧操作范式的核心资源。该数据集经由LeRobot框架采集，记录了SO_Follower机械臂在6自由度位姿空间中的连续运动轨迹，并同步提供前向与侧向双视角RGB视频流（30 FPS，AV1编码）。近期前沿研究聚焦于利用此类多模态时序数据训练视觉运动策略（如扩散策略与Transformer架构），以应对工业精密装配、医疗辅助操作等非结构化环境中的泛化挑战。通过解耦关节空间动作与视觉观测的协同关系，研究者得以开展从仿真到现实的迁移学习实验，推动机器人从预设程序向数据驱动自主决策的范式跃迁，其Apache-2.0许可协议亦有力促进了开源社区在具身智能领域的协作创新。