asdl-unist/eval_1-multiple-128LR-5aug-32b-12k-3

该数据集使用LeRobot创建，与机器人技术相关。数据集包含so_follower机器人的动作和观察数据，如状态和来自顶部及手腕摄像头的图像。数据集结构包括10个episodes，9392帧，1个任务，数据以parquet文件格式存储，并包含视频数据。具体特征包括动作（6个浮点数值）、观察状态（6个浮点数值）、顶部和手腕摄像头图像（480x640x3的视频数据），以及其他元数据如时间戳、帧索引、episode索引等。

This dataset was created using LeRobot and is related to robotics. It contains action and observation data from a so_follower robot, including state and images from top and wrist cameras. The dataset structure includes 10 episodes, 9392 frames, 1 task, and is stored in parquet files with video data. Specific features include actions (6 float values), observation states (6 float values), top and wrist camera images (480x640x3 video data), and other metadata such as timestamps, frame indices, episode indices, etc.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在服务于机器人模仿学习研究。数据采集自so_follower型机器人，共包含10个完整演示回合，总计9392帧时序数据，采样频率为30帧/秒。数据集以分块形式存储，每个分块包含1000帧数据，原始数据与视频文件分别以parquet和mp4格式保存。动作与状态空间均涵盖6个自由度，包括肩部、肘部、腕部及夹爪的位姿信息，同时提供顶部与腕部双视角的640×480分辨率视频观测，编码采用AV1格式。训练集与测试集以10:0的比例划分，所有数据均置于单一任务场景中。

特点

本数据集的核心特点在于其多模态与高保真特性。观测数据融合了机器人关节状态与双视角视觉流，其中视频记录保证了场景动态的完整性，而parquet序列化格式则便于高效存取时序动作与状态。数据采集频率稳定在30帧/秒，能够精确捕捉快速操作过程中的细微动作变化。此外，数据集采用Apache-2.0开源协议发布，总容量约300MB，兼顾了学术研究的可用性与隐私合规性，为机器人技能学习提供了标准化基准。

使用方法

使用者可通过LeRobot库直接加载该数据集，默认配置指向parquet与mp4文件的自动匹配。数据加载时，系统会依据meta/info.json中的分块索引拼接完整轨迹，并自动解码视频帧为张量格式。建议研究人员利用该数据集进行模仿学习模型的训练与评估，重点利用6维动作向量与双视角图像作为策略网络的输入输出。训练过程中，可借助data_files路径灵活筛选特定分块，或通过episode_index参数遍历不同回合以进行交叉验证。

背景与挑战

背景概述

该数据集由Hugging Face LeRobot社区创建，专注于机器人操控任务的模仿学习研究，于近期发布并采用Apache-2.0许可证。数据集基于so_follower机器人平台，包含10个演示片段共计9392帧数据，记录了六自由度机械臂（含夹爪）的连续动作序列与多视角视觉观测（顶部相机和腕部相机，分辨率为480×640，30帧/秒）。其核心研究问题在于如何利用有限的高质量示教数据，驱动机器人精准执行单一操作任务，为基于视觉的机器人策略学习提供了标准化训练样本，对推动低样本模仿学习与机器人基础模型的发展具有重要意义。

当前挑战

数据集当前面临的核心挑战之一是领域内的数据效率问题：仅含10个演示（约100MB结构化数据）的规模严重限制了策略模型的泛化能力，亟需在数据稀缺条件下开发高效表示学习与数据增强技术。构建过程中的挑战则在于多模态异构数据的同步与对齐，包括高频动作指令（30Hz）与视频流（AV1编码，达200MB）的时间戳配准，以及不同视角（顶部与腕部）图像的几何与语义关联；此外，机器人本体运动产生的非平稳噪声和重复动作轨迹的微小变动，也为策略的鲁棒性学习引入了额外困难。

常用场景

经典使用场景

在机器人学习领域，该数据集专为模仿学习中的动作序列预测任务而设计。其核心特色在于采集了高精度六自由度机械臂（so_follower）在操作过程中的精细动作数据，包括肩部、肘部、腕部及夹爪的位置信息，并同步记录了顶部与腕部的第一视角视觉观测。这样的多模态数据构成，为训练具备空间理解能力与运动协调性的机器人策略模型提供了理想素材。10个完整演示片段、近万帧高频率样本，以及预设的1000步序列分块结构，使其特别适合用于行为克隆（Behavior Cloning）或生成式模仿学习场景，如扩散策略（Diffusion Policy）的训练与评估，帮助机器人从人类示范中学习复杂、连续的操作技能。

解决学术问题

该数据集旨在解决机器人领域中从人类示范中高效、稳定地学习精细操控策略的核心学术难题。传统控制方法依赖精确的数学模型与手工设计的规则，在应对多样性操作任务时常显僵化。而融合了视觉与本体感知信息的该数据集，为研究如何在有限示范下实现高泛化能力的策略学习提供了有力支撑。它促进了模仿学习中“观测-动作”映射关系的鲁棒性探索，尤其助力于解决多模态融合、时序建模与空间注意力机制等关键问题。通过提供标准化、高质量的机器人操控示例，该数据集推动了端到端行为克隆和扩散模型在机器人领域的应用，显著降低了从仿真到真实部署的迁移门槛，对发展可泛化的智能操作体具有深远学术影响。

衍生相关工作

围绕此类精细操控数据集，学术界衍生了一系列经典工作。在方法层面，扩散策略（Diffusion Policy）作为一种生成式模仿学习方法，充分利用了此类多帧序列数据的结构优势，在复杂任务中展现出比传统行为克隆更优的稳定性和平滑性。此外，基于Transformer的决策架构，如决策Transformer（Decision Transformer）和动作分块预测（Action Chunking with Transformers）等，也常以此类数据集为训练基础，探索将离线强化学习与序列建模相结合的新范式。这些工作共同推动了机器人学习领域从简单的轨迹复现向可泛化的技能表征演进，拓展了模仿学习在非结构性环境中的应用边界，使机器人能够学习更通用、更具适应性的操作技能。