salmonHan/record-test_20260528_002304

该数据集是一个机器人学数据集，使用LeRobot工具创建。它包含一个总集数（episodes）为1、总帧数为1797、总任务数为1的数据集。数据以30帧每秒的帧率采集，存储为Parquet格式文件，总数据文件大小为100 MB，视频文件大小为200 MB。数据集包含多个特征，包括动作（action，6个浮点数值表示关节位置）、观察状态（observation.state，6个浮点数值表示关节位置）、前视图像（observation.images.front，分辨率为720x1280的RGB视频）、时间戳、帧索引、集索引、索引和任务索引。机器人类型为so_follower，数据分割为训练集。数据集结构基于代码库版本v3.0，并包含详细的元数据信息。This dataset is a robotics dataset created using the LeRobot tool. It contains a total of 1 episode, 1797 frames, and 1 task. The data is collected at a frame rate of 30 fps, stored in Parquet format files, with a total data file size of 100 MB and video file size of 200 MB. The dataset includes multiple features such as action (6 floating-point values representing joint positions), observation.state (6 floating-point values representing joint positions), observation.images.front (RGB video with a resolution of 720x1280), timestamp, frame index, episode index, index, and task index. The robot type is so_follower, and the data is split into a training set. The dataset structure is based on codebase version v3.0 and includes detailed metadata information.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人学习领域提供标准化数据。数据集包含单一任务和单一回合（episode），共计1797帧连续时间序列数据，以30帧/秒的速率采集。数据以Parquet格式存储，分为多个1000帧大小的数据块，并辅以MP4格式的视频文件，分别存储于data/和videos/目录下。机器人类型为so_follower，记录了6维动作和状态信息，分别对应肩部、肘部、腕部及夹爪的位置参数。同时，采集了前置摄像头的高清图像（720×1280，RGB三通道），采用AV1编码格式压缩。数据集遵循Apache-2.0开源协议，便于学术研究与工业应用。

特点

该数据集的核心特色在于其结构化的多模态数据融合能力。除了机器人关节的精确动作与状态信号外，还同步提供了高帧率的前视视觉观测数据，为模仿学习、强化学习等算法提供丰富的感知输入。数据集中每一帧均标注了时间戳、帧索引与回合索引，便于时间序列分析。此外，数据集体积精巧（数据文件约100MB，视频文件约200MB），适合快速实验验证。统一的Parquet格式与明确的特征命名规范，使得数据加载与预处理过程高效便捷，可无缝集成至LeRobot生态系统中。

使用方法

借助LeRobot库，用户可以高效访问该数据集。首先通过lebot.datasets模块加载数据集，指定数据集名称与缓存路径。数据集自动划分为训练集（默认使用全部数据），可直接获取action、observation.state、observation.images.front等特征。视觉数据以视频帧形式按需解码，支持批量流式读取，符合现代深度学习训练流程。建议将数据与LeRobot中的策略网络（如扩散策略或基于Transformer的模型）结合使用，通过其内置的DataLoader实现批量化采样、归一化与数据增强，快速构建机器人技能学习管线。

背景与挑战

背景概述

该数据集由salmonHan于2026年5月28日创建，依托于Hugging Face的LeRobot开源框架，专注于机器人学习领域的模仿学习与动作表征研究。核心研究问题在于如何通过低成本、标准化的数据采集流程，生成可用于训练机器人跟随任务的高质量多模态数据集，涵盖6自由度关节动作、状态信息及前视视觉图像。尽管数据集仅包含1个示范轨迹和1797帧数据，但其采用了Apache-2.0开源协议与LeRobot标准化格式，为机器人社区提供了从数据采集到模型训练的端到端参考范例，尤其适合验证小样本学习与精细化动作复现的基础算法。

当前挑战

当前挑战首先体现在领域问题层面：机器人跟随任务面临高维连续动作空间与视觉-运动耦合的鸿沟，单一示范轨迹难以覆盖环境扰动与物体位姿变化，导致模型泛化性不足。其次，构建过程中遭遇数据质量与效率的矛盾——仅30帧/秒的视频采样与6维关节状态需在亚毫米级精度下对齐，而单次采集的100MB数据量虽轻量却缺乏多样性，无法应对复杂装配或柔性操作场景。此外，AV1视频编解码带来的压缩失真可能削弱视觉特征提取的鲁棒性，进一步制约了数据集在真实部署中的实用性。

常用场景

经典使用场景

record-test_20260528_002304 数据集专为机器人模仿学习研究而构建，其经典使用场景集中于训练基于视觉和状态输入的机器人操作策略。该数据集包含由“so_follower”机器人采集的单一任务演示，每段演示记录了1797帧、时长约60秒的连续动作序列，涵盖6自由度的关节位置控制（如肩部、肘部、腕部及夹爪）与同步的前向摄像头视频流。研究者可利用这些高保真的状态-动作对，结合每秒30帧的视频观测，训练端到端的神经网络策略，如扩散策略或行为克隆模型，使机器人能够复现从观察空间到动作输出的映射关系，从而在仿真或真实环境中执行精细操作任务。

解决学术问题

该数据集旨在解决机器人学习领域中数据稀缺与策略泛化能力不足的核心学术问题。通过提供结构化的演示数据（包括同步的关节状态、图像观测与动作标注），它为研究者提供了基准训练材料，用于验证模仿学习算法在低样本条件下的有效性。其意义在于推动了从传统手工编程范式向数据驱动的机器人技能获取范式的转变，尤其是在精密装配、物体抓取等复杂操作任务中，显著降低了策略开发对物理实验的依赖。此类数据集的公开还有助于标准化机器人学习评估流程，促进可复现研究的发展。

衍生相关工作

该数据集作为LeRobot生态系统的组成部分，衍生了多项具有影响力的研究工作。例如，研究者可基于此类格式的数据开发扩散策略（Diffusion Policy）算法，用于生成平滑且鲁棒的动作轨迹；或应用于行为克隆与隐式策略（如IBC）的跨任务泛化性对比实验中。此外，数据集中多模态信息（状态、图像、动作）的时序对齐特性，为视觉-运动融合架构（如R3M、VIP）的前沿探索提供了标准化评测平台。此类工作进一步验证了大规模演示数据在破解机器人操作技能长尾分布问题中的潜力，并推动了低成本数据采集方案在学术界与工业界的广泛采纳。