salmonHan/record-test_20260528_000949

该数据集由LeRobot创建，专注于机器人学领域，具体针对so_follower机器人类型。数据集包含1个训练任务，总共1797帧数据，以30帧每秒的速率采集。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的特征包括动作（action）和观察状态（observation.state），均为6维浮点数组，表示机器人的关节位置（如肩部平移、肩部升降、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置）。观察图像（observation.images.front）为视频格式，分辨率为720x1280，3通道彩色图像，使用av1编解码器。此外，数据集还包含时间戳、帧索引、剧集索引、索引和任务索引等元信息。所有数据仅用于训练分割，适用于机器人控制和学习任务。This dataset was created by LeRobot and focuses on the robotics domain, specifically designed for the so_follower robot type. It contains 1 training task with a total of 1797 frames, captured at 30 frames per second. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB. The dataset features include action and observation state, both as 6-dimensional float arrays representing robot joint positions (e.g., shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions). Observation images (observation.images.front) are in video format with a resolution of 720x1280, 3-channel color images, using the av1 codec. Additionally, the dataset includes metadata such as timestamp, frame index, episode index, index, and task index. All data is allocated for the training split, suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专为机器人操控任务设计。数据通过远程操作采集，记录单个机械臂（so_follower）执行单一任务时的完整交互序列。采集过程以30帧/秒的速率同步记录6维关节动作指令（包括肩部、肘部、腕部及夹爪位置）及其对应的本体感知状态，同时通过前置摄像头以1280×720分辨率、30帧/秒的AV1编码格式捕获视觉信息。原始数据被分块存储为Parquet文件，视频以MP4格式独立保存，最终汇聚为包含1797帧画面的单一训练片段（episode），充分体现了从真实示教到结构化表征的闭环构建逻辑。

特点

数据集具备高精度、多模态与紧耦合特性。动作与状态空间均以6维浮点向量描述关节角度，确保了控制指令与观测值在语义上的严格对齐。视觉模态采用高清视频序列，为模仿学习提供丰富的环境上下文。数据在时间轴上以30Hz高频采样，覆盖近60秒的连续操作过程，能够捕捉细粒度运动轨迹。此外，框架内置了标准化元信息（如帧索引、时间戳、任务编号），便于追朔数据来源与试验配置，而Apache-2.0许可则赋予其广泛的学术与工业复用潜力。

使用方法

该数据集可通过LeRobot的API进行高效加载与可视化。用户需确保环境内已安装LeRobot库，并调用`lerobot.Dataset`接口指定数据集标识符`salmonHan/record-test_20260528_000949`以按需读取。由于数据以Parquet与视频分块存储，推荐使用LeRobot内置的数据加载器（data loader）自动管理缓存与随机抽帧，以支持训练循环的流水线式处理。HuggingFace空间提供了交互式可视化看板（Visualize Dataset），允许用户以网页形式浏览动作轨迹与对应视频帧，从而直观验证数据质量。研究者可基于此数据直接训练模仿学习模型（如扩散策略、行为克隆），或将其作为基准测试用例嵌入机器人学习的研究流程。

背景与挑战

背景概述

该数据集由salmonHan研究团队基于LeRobot框架创建，记录时间为2026年5月28日，聚焦于机器人遥操作领域的模仿学习研究。核心研究问题在于如何通过少量演示数据驱动机器人执行精细操作任务，数据集包含单个机械臂（so_follower）的完整操作轨迹，涵盖6个关节自由度（肩部、肘部、腕部及夹爪）的动作指令与状态观测，并同步采集了高分辨率（1280×720）的第一视角视觉图像。作为开源数据集（Apache-2.0协议），其存储格式采用Parquet与视频编码结构，便于研究者复现基线算法，对推动低成本机器人数据采集与共享生态具有示范意义。

当前挑战

当前领域面临两大核心挑战：其一，机器人操作任务存在‘小样本泛化’难题，本数据集仅含单个任务与1个演示片段，难以支撑复杂场景下的策略学习，需探索数据高效算法以克服稀疏奖励与状态覆盖不足的局限；其二，构建过程中需解决多模态数据同步采集的精度问题——动作指令（30Hz）、关节状态与视频流（30fps）在时间戳对齐上存在微秒级偏差，同时夹爪末端与视觉观测的坐标系标定误差会直接影响模仿学习的成功率，这要求更鲁棒的传感器融合与校准框架。

常用场景

经典使用场景

在机器人学习与模仿学习领域，record-test_20260528_000949数据集因其精密的传感器模态与动作序列记录而成为经典研究载体。该数据集包含由SO Follower机器人平台采集的单一任务共1797帧时序数据，涵盖六自由度关节位置状态与对应的控制动作，并辅以每秒30帧的高清前视视觉图像。研究者常将其作为端到端模仿学习的基础训练资源，利用其中的状态-动作对构建行为克隆模型，或将其纳入多模态策略学习框架，以评估视觉-运动联合表征的泛化能力。其结构化的片段式存储格式也便于开发基于片段的序列建模方法，如动作分块与时间对比学习。

实际应用

在实际工程场景中，此数据集为灵巧操作系统的快速原型验证提供了关键支撑。开发者可利用其中的高清视觉与关节状态序列，训练机器人完成诸如精密装配、柔性抓取等精细任务。数据集与LeRobot框架的原生兼容性，允许研究人员直接调用标准化数据加载与预处理流水线，极大地缩短了从模型设计到实物部署的迭代周期。此外，由于动作空间直接映射至六轴机械臂的物理关节，企业可据此开发定制化的机器人示教与复现系统，在仓储物流、医疗辅助及家庭服务等领域实现低代码的技能编程与任务迁移。

衍生相关工作

在此数据集基础上，学界已衍生出多项影响力的工作。其一为基于扩散模型的机器人动作生成方法，研究者利用该数据的高频时序特性验证了条件扩散策略在细粒度控制上的优越性。其二为跨本体机器人技能迁移研究，借助数据集中规范化的六维动作命名体系，实现了SO Follower与UR系列机械臂之间的策略适配。此外，该数据集还促进了视觉-语言-动作多模态基座模型的发展，被用于微调预训练模型以生成具备环境感知能力的动作序列，展现了从低维状态到高维指令空间的语义对齐潜力，推动了机器人基础模型的通用性演进。