Niels2/so101-testing-robotcam-640p-30fps-v6

该数据集是使用LeRobot创建的机器人数据集，专门用于机器人任务。数据集包含2个总集数、734个总帧数和1个总任务数。数据以Parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集的特征结构包括动作（action）、观察状态（observation.state）、观察图像（observation.images.front）、时间戳（timestamp）、帧索引（frame_index）、集索引（episode_index）、索引（index）和任务索引（task_index）。动作和观察状态都包含6个浮点型变量，分别对应机器人的肩部、肘部、腕部和夹爪的位置。观察图像是视频格式，分辨率为480x640，3个通道，使用av1编解码器。数据集适用于机器人控制、行为模仿等研究任务。This robotics dataset was developed using LeRobot, tailored exclusively for robotics-related tasks. It comprises 2 total episodes, 734 total frames, and 1 distinct task. The data is stored in Parquet format, with a total raw data file size of 100 MB and a total video file size of 200 MB, operating at a frame rate of 30 fps. The feature structure of the dataset includes action, observation.state, observation.images.front, timestamp, frame_index, episode_index, index, and task_index. Both action and observation.state contain 6 floating-point variables, which respectively correspond to the positions of the robot's shoulder, elbow, wrist, and gripper. The observation.images.front stores video data with a resolution of 480×640, 3 color channels, and uses the AV1 codec. This dataset is suitable for research tasks such as robot control and behavioral cloning.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量演示数据的采集是训练策略模型的基础环节。该数据集依托LeRobot框架构建，面向so101_follower型机械臂，通过遥操作或程序化控制方式采集了2个完整回合的操作轨迹，共计734帧。所有数据按照LeRobot v3.0规范组织，以Parquet列式格式存储低层动作与状态序列，同时将前视摄像头视频以AV1编码压缩为MP4文件，元信息统一记录于meta/info.json，形成结构化的多模态机器人操作数据集。

特点

该数据集聚焦于单臂精细操作任务，动作空间与状态空间均涵盖肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪六个自由度，能够完整描述机械臂的位姿与抓取行为。同步采集的640×480分辨率前视视频以30帧每秒的速率记录视觉观测，为视觉-动作联合建模提供时序对齐的多模态信号。数据集规模紧凑，适合快速验证算法原型，其遵循Apache-2.0许可协议，便于学术与工业界的二次开发与共享。

使用方法

使用该数据集时，研究者可借助LeRobot官方工具链直接加载Parquet格式的状态与动作序列，并通过视频路径读取对应帧的视觉观测。数据按训练集划分，索引字段涵盖时间戳、帧序号、回合序号与任务序号，便于按回合或按帧进行采样与批处理。典型应用场景包括模仿学习、视觉运动策略训练以及离线强化学习，用户亦可基于其结构自定义数据加载器，将观测图像与动作向量对齐后输入神经网络进行端到端训练。

背景与挑战

背景概述

机器人操作策略学习长期受制于真实世界演示数据的稀缺与碎片化，构建规模可控、接口统一的标准化数据集成为推动该领域可复现研究的关键基础设施。so101-testing-robotcam-640p-30fps-v6 依托 HuggingFace 的 LeRobot 生态构建，采集自 so101_follower 机械臂平台，涵盖 2 个演示回合、734 帧、单一任务，以 30 帧每秒、640×480 分辨率的前置摄像头视频配合六自由度关节位置与动作记录，采用 Apache-2.0 许可发布。该数据集虽规模有限，却为视觉-动作联合建模、模仿学习与具身智能算法提供了轻量而规范的验证载体，并借助 LeRobot 统一格式促进了跨机构数据的互操作与复用。

当前挑战

该数据集所服务的领域问题在于从高维视觉观测与低维本体状态中学习可泛化的机器人操作策略，而仅有的 2 个演示回合与单一任务使其难以支撑对策略鲁棒性与泛化能力的充分评估，样本稀缺亦加剧了过拟合风险。构建过程中面临多重挑战：需要保证时间戳、帧索引与回合索引严格对齐，以维持动作与观测的时序一致性；需在 AV1 编码与 yuv420p 色彩格式下平衡视频存储体积与视觉保真度；需将六自由度关节位置、夹爪状态与任务标签纳入统一 schema；此外，还需在现有硬件条件下确保多模态数据的同步采集与元信息完整性。

常用场景

经典使用场景

在机器人学习与具身智能领域，基于视觉的模仿学习与动作策略训练长期依赖高质量、真实场景下的多模态操作数据。so101-testing-robotcam-640p-30fps-v6数据集以SO101 follower机械臂为采集平台，整合了前视摄像头640×480分辨率、30帧每秒的视觉流与6自由度关节位置及末端夹爪状态，构成典型的视觉-动作对序列。该数据集最为经典的使用场景在于训练端到端的视觉运动策略，使机械臂能够在观测图像与自身关节状态的条件下，直接回归出连续的动作指令，从而完成抓取、移动等基础操作任务。

衍生相关工作

围绕该数据集所采用的LeRobot数据格式与SO101硬件平台，社区逐步发展出一系列相关的经典工作。这些工作涵盖基于视觉的模仿学习算法实现、多模态时序策略网络的设计，以及面向真实机械臂的数据采集与回放流程标准化。该数据集作为其中一个小规模但结构完整的实例，为后续更大规模操作数据集的构建提供了模板参考，并促进了开源机器人学习生态中数据接口与评估协议的统一步伐。

数据集最近研究

最新研究方向

在具身智能与机器人操作策略学习持续升温的背景下，so101-testing-robotcam-640p-30fps-v6作为基于LeRobot框架构建的SO-101 follower机械臂数据集，正契合当前视觉-动作联合建模与低成本硬件验证的研究趋势。该数据集以30fps、640×480分辨率的单目前视视频同步记录六自由度关节位置与末端夹爪状态，涵盖肩部旋转、抬升、肘部屈伸及腕部多轴姿态，为模仿学习与视觉伺服控制提供了细粒度时序信号。伴随开源机器人平台与大规模示教数据竞赛的兴起，此类紧凑型真实机器人轨迹数据有助于推动策略泛化、跨本体迁移及仿真到现实差距的实证研究，对加速可复现的机器人学习基准建设具有积极意义。