eval_groot_so101_desk_clean

该数据集使用LeRobot平台创建，专为机器人学任务设计，特别适用于so_follower类型的机器人。数据集包含一个完整的训练集，总共有1个任务、1个episode和756帧数据。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件为200MB，帧率为30fps。核心特征包括：动作空间（action），为一个6维浮点数组，对应机械臂的肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置；观测状态（observation.state），同样为6维浮点数组，表示机械臂的关节位置；视觉观测，包含来自前方（front）和腕部（wrist）摄像头的视频数据，分辨率均为480x640，3通道彩色，采用AV1编码；此外还包括时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index）等元数据字段。该数据集适用于机器人模仿学习、行为克隆、视觉运动控制等任务的研究与开发，并采用Apache 2.0许可证。

This dataset is created using the LeRobot platform, specifically designed for robotics tasks and particularly applicable to so_follower-type robots. The dataset includes a complete training set, consisting of 1 task, 1 episode, and 756 frames of data. The data is stored in Parquet file format, with a total data file size of 100 MB, while the video files total 200 MB, with a frame rate of 30 fps. The core features of the dataset are as follows: The action space (action) is a 6-dimensional floating-point array, corresponding to the shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation and gripper position of the robotic arm; the observation state (observation.state) is also a 6-dimensional floating-point array, representing the joint positions of the robotic arm; the visual observations include video data from the front and wrist cameras, both with a resolution of 480x640, 3-channel color, encoded in AV1. Additionally, it includes metadata fields such as timestamp, frame_index, episode_index, global index (index) and task_index. This dataset is applicable to the research and development of tasks such as robot imitation learning, behavioral cloning, visual-motor control and other relevant robotics research tasks. The dataset is licensed under Apache 2.0.

原始信息汇总

数据集概述

• 数据集名称: eval_groot_so101_desk_clean
• 许可协议: Apache-2.0
• 任务类别: 机器人技术 (Robotics)
• 标签: LeRobot
• 创建工具: 使用 LeRobot 创建

数据集规模

• 总片段数 (Episodes): 1
• 总帧数 (Frames): 772
• 总任务数 (Tasks): 1
• 帧率 (FPS): 30
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 块大小: 1000

数据划分

• 训练集: 0:1 (仅包含一个划分，全部数据用于训练)

机器人类型

• 机器人型号: so_follower

数据特征

数据集包含以下特征字段，所有数据以 Parquet 格式存储，视频以 MP4 格式存储：

特征字段	数据类型	形状	描述
action	float32	(6,)	6维关节动作指令，包含肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置
observation.state	float32	(6,)	6维关节状态观测，与动作指令结构相同
observation.images.front	video	(480, 640, 3)	前置摄像头视频，分辨率 480x640，编码 AV1，帧率30fps，3通道彩色
observation.images.wrist	video	(480, 640, 3)	腕部摄像头视频，分辨率 480x640，编码 AV1，帧率30fps，3通道彩色
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据存储路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

可视化

可通过 可视化工具 在线浏览数据集内容。

搜集汇总

数据集介绍

构建方式

该数据集源于机器人操控领域的实证研究，旨在捕捉机械臂在桌面清洁任务中的运动与感知信息。构建过程采用LeRobot框架，通过SO-101型从属机械臂（so_follower）执行预设的清洁操作，并以30帧/秒的采样频率同步记录机器人关节状态、动作指令及多视角视觉数据。数据存储格式遵循Parquet与MP4视频的分层架构，单次任务采集了772帧连续轨迹，经分块处理后形成包含1个评估任务的紧凑型数据集。

特点

数据集具备多模态融合特性，涵盖6维关节空间的状态与动作序列（包括肩部、肘部、腕部及夹爪的位姿），以及前向与腕部两个视角的高清视频流（480×640分辨率，AV1编码）。其结构紧凑，总帧数772帧对应约100MB的表格数据与200MB的视频数据，且采用标准化的codebase_v3.0版本，确保了与LeRobot生态系统的兼容性。

使用方法

用户可通过HuggingFace的LeRobot可视化工具直接浏览数据集内容，亦可在Python环境中加载Parquet文件解析动作与状态时间序列。结合提供的视频数据，研究者能够将视觉观测映射至机械臂的连续控制信号，适用于模仿学习策略的训练与验证。数据集默认将全部轨迹划归训练集，支持通过调整chunks_size参数实现定制化的数据分片与批处理。

背景与挑战

背景概述

在机器人学习领域，模仿学习通过人类示教数据赋予机器人执行复杂操作的能力，而高质量数据集是驱动该技术发展的基石。eval_groot_so101_desk_clean数据集由H2Ozone团队于近期创建，基于开源的LeRobot框架构建，旨在评估机器人在桌面清理任务中的操作性能。该数据集以单次、单任务轨迹（共772帧、30FPS）聚焦于“so_follower”机器人类型，记录了肩部、肘部、腕部及夹爪的六维关节状态与动作，同时配备前置和腕部双视角视频流（640×480分辨率）。作为评估基准，其核心研究问题在于测试机器人从人类示教中泛化桌面清洁动作的能力，为机器人操作领域中的零样本或小样本学习提供标准化测试场景，对推动具身智能算法的迭代与对比具有重要意义。

当前挑战

该数据集所解决的领域问题挑战主要源于桌面清理任务的非结构化特性：目标物体形状、材质与初始位姿的多样性要求机器人具备高度灵活的动作规划与实时适配能力；同时，单一示教轨迹难以覆盖环境变化，对算法从有限数据中提取鲁棒操作策略构成严峻考验。在构建过程中，挑战集中在数据采集与标注的精度控制上——需确保六自由度关节状态与视频帧的严格时间同步，避免因传感器延迟或标定误差导致策略学习失败；此外，单次演示的样本量极为有限（仅1个episode），如何在小样本条件下验证行为克隆或强化学习方法的有效性，成为数据集设计与使用中必须应对的核心难点。

常用场景

经典使用场景

该数据集专为机器人模仿学习与行为克隆研究而设计，聚焦于桌面清洁这一精细操作任务。借助LeRobot框架收集的772帧高保真数据，涵盖了六自由度SO-Follower机械臂的关节位姿指令与状态观测，以及前置和腕部双视角视觉信息。经典使用场景在于，研究者可利用此数据集训练端到端的神经网络策略，使机器人从人类演示中学习如何精准执行桌面物体归位、擦拭等清洁动作，尤其适用于评估模型在单一任务、有限样本条件下的泛化能力与动作复现精度。

解决学术问题

数据集的发布有效回应了机器人学习领域中长期存在的‘数据稀缺’与‘仿真到现实迁移’两大核心挑战。在桌面清洁这类非结构化环境中，传统基于物理建模的方法难以穷举物体形状与摆放的无穷变化。该数据集通过提供统一的运动学状态与多视角视觉流，使学术界得以在真实机器人平台上验证模仿学习算法的样本效率、鲁棒性及闭环控制性能，进而推动了对观测噪声、视觉遮挡及执行器延时的系统性研究，为构建更通用的家务机器人行为基座奠定了基础。

衍生相关工作

基于该数据集，研究者已衍生出多项开创性工作，包括探索条件扩散模型在机器人动作生成中的应用、基于对比学习的视觉表征预训练方法，以及结合因果推断的决策可解释性分析。此外，有工作将其与大规模异构机器人数据集联合训练，验证跨平台迁移学习的可行性；另一些研究则聚焦于数据增强技术，通过合成遮挡或光照扰动来提升策略的视觉鲁棒性。这些衍生工作不仅拓宽了原始数据的应用边界，也反哺了机器人基础模型的理论演进。