kb127/test90_dataset

该数据集由LeRobot创建，用于机器人学任务，具体针对机器人类型“so_follower”。数据集包含90个episodes，总计80391帧，数据以parquet文件和视频文件形式存储。特征包括动作（如肩部、肘部、腕部和夹爪的位置）、观测状态（关节位置和来自前视和顶部摄像头的图像，分辨率为480x640），以及时间戳、帧索引等元数据。视频以30fps录制，使用av1编解码器，无音频。数据集适用于训练和评估机器人控制模型，支持强化学习或模仿学习任务。license: apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集描述 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json)： json { "代码库版本": "v3.0", "机器人类型": "跟随型机器人（so_follower）", "总剧集数": 90, "总帧数": 80391, "总任务数": 1, "分块大小": 1000, "数据文件总大小（单位：MB）": 100, "视频文件总大小（单位：MB）": 200, "帧率（fps）": 30, "划分方式": { "训练集": "0:90" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作（action）": { "数据类型": "float32", "特征名称": [ "肩关节平移关节位置（shoulder_pan.pos）", "肩关节提升关节位置（shoulder_lift.pos）", "肘关节屈伸关节位置（elbow_flex.pos）", "腕关节屈伸关节位置（wrist_flex.pos）", "腕关节旋转关节位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [6] }, "观测状态（observation.state）": { "数据类型": "float32", "特征名称": [ "肩关节平移关节位置（shoulder_pan.pos）", "肩关节提升关节位置（shoulder_lift.pos）", "肘关节屈伸关节位置（elbow_flex.pos）", "腕关节屈伸关节位置（wrist_flex.pos）", "腕关节旋转关节位置（wrist_roll.pos）", "夹爪位置（gripper.pos）" ], "形状": [6] }, "前视图像观测（observation.images.front）": { "数据类型": "视频（video）", "形状": [480, 640, 3], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "俯视图像观测（observation.images.top）": { "数据类型": "视频（video）", "形状": [480, 640, 3], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频高度": 480, "视频宽度": 640, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 30, "视频通道数": 3, "是否包含音频": false } }, "时间戳（timestamp）": { "数据类型": "float32", "形状": [1], "特征名称": null }, "帧索引（frame_index）": { "数据类型": "int64", "形状": [1], "特征名称": null }, "剧集索引（episode_index）": { "数据类型": "int64", "形状": [1], "特征名称": null }, "全局索引（index）": { "数据类型": "int64", "形状": [1], "特征名称": null }, "任务索引（task_index）": { "数据类型": "int64", "形状": [1], "特征名称": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

test90_dataset 基于 LeRobot 框架构建，旨在为机器人操作任务提供标准化的训练数据。该数据集包含 90 个完整演示片段（episodes），总计 80391 帧图像，全部来源于单一操作任务，演示了 SO_Follower 型机械臂的动作序列。数据以分块 Parquet 格式存储，每块容纳 1000 帧，同时配套将前视与顶视摄像头视频以 AV1 编码压缩为 MP4 文件，确保高效存取。每帧记录 6 维关节空间动作（包含肩部、肘部、腕部及夹爪位置）及对应状态观测，并附带时间戳与索引信息。数据集按 0:90 的索引范围划分为单一训练集，便于直接用于模仿学习等机器人训练流程。

特点

该数据集的突出特点在于其结构的完整性与实用性。所有动作与状态数据均以 30 帧/秒的采样频率同步记录，提供 6 自由度关节级控制信号，适合精细操作策略学习。双视角视觉观测（前视与俯视，分辨率 480×640）通过视频流形式存储，结合运动学状态数据，形成多模态联合表征。数据分块策略将 90 个片段均匀组织为 100 MB 的 Parquet 文件与 200 MB 的视频文件，在保证查询效率的同时降低存储开销。此外，元信息中明确定义了特征名称与形状，兼容性强，可直接对接现代机器学习框架，且采用 Apache-2.0 开源协议，便于学术研究与工业应用。

使用方法

使用 test90_dataset 时，开发者可借助 LeRobot 库或常规数据加载工具直接读取。数据文件路径遵循 'data/chunk-{index}/file-{index}.parquet' 的命名规则，视频文件则存放于 'videos/{camera_key}/chunk-{index}/' 目录下。通过解析 meta/info.json 中的特征定义，可轻松将动作向量（6 维浮点）与状态向量，以及时间序列帧对齐。在模型训练中，建议以 episode_index 为单位组织批次，利用 frame_index 和 timestamp 控制时间对齐；对于模仿学习任务，可将 action 作为预测目标，observation.state 和 observation.images 作为输入。该数据集无需额外预处理即可直接用于 PyTorch 或 TensorFlow 的数据流水线。

背景与挑战

背景概述

在机器人学习领域，模仿学习（Imitation Learning）通过从专家演示中获取行为策略，已成为训练机器人执行复杂操作任务的关键范式。test90_dataset数据集由Hugging Face的LeRobot框架创建，基于so_follower机器人平台构建，于近年发布，旨在为机器人操控任务提供标准化的训练与评估基准。该数据集聚焦于单一任务，包含90个示范片段，总计80391帧图像与相应的动作序列，通过每秒30帧的速率记录前视与顶视两个视角的视觉信息，以及六自由度关节状态数据。其核心研究目标在于推动视觉-动作联合表征学习，为模仿学习算法提供高质量、多模态的示范数据，从而促进机器人在精细化操作任务中的泛化能力提升。

当前挑战

test90_dataset所解决的领域问题在于，机器人模仿学习面临数据多样性与环境泛化的双重挑战。当前数据集仅包含单一任务与有限的90个示范片段，难以覆盖真实场景中丰富的操作变体与动态变化，导致模型训练易陷入过拟合，泛化至未见过环境的能力受限。此外，构建过程中需克服传感器同步校准、高精度动作捕捉与视觉数据一致性等工程难题，确保每秒30帧的640×480分辨率视频与六维动作空间数据的精确对齐。数据存储采用parquet与AV1编码视频格式，虽压缩效率优良，但处理与解码复杂度增加，对训练管道的实时性构成挑战。这些局限性共同制约了该数据集在复杂机器人任务中的广泛应用与鲁棒性评估。

常用场景

经典使用场景

在机器人学习与仿真控制领域，test90_dataset作为一项精心构建的专用数据集，为模仿学习与动作规划研究提供了高质量的基准。该数据集基于so_follower型机器人平台，采集了90个完整情节、总计超过八万帧的连续交互数据，涵盖六自由度关节动作与双视角视觉观测。研究者可藉此训练策略网络，使其从示教轨迹中学习从视觉输入到关节控制的端到端映射，进而评估不同算法在有限样本条件下的泛化能力与鲁棒性。数据集中一致的采样频率与多模态同步特性，成为验证行为克隆、逆强化学习等经典范式在低数据量场景下表现的首选支撑。

解决学术问题

该数据集直击少样本机器人技能获取这一学术难点，为探索如何从有限示教中高效提炼可迁移控制策略提供了关键素材。传统强化学习往往依赖大量试错交互，而在物理世界中搜集海量经验代价高昂且风险较大。test90_dataset通过标准化的情节结构、明确的特征空间定义以及多视角视觉信息，使得研究者可在仿真环境中系统性地对比不同算法在数据利用效率上的差异。它促进了对因果推理、目标条件策略分解以及隐式策略表示等前沿议题的深入探讨，推动了机器人学习领域向低样本、高泛化方向迈进。

衍生相关工作

基于test90_dataset的公开结构与内容，已衍生出多个富有启发性的研究脉络。一方面，它作为LeRobot生态的重要组成部分，被广泛用于验证模仿学习框架的基准测试方案，例如Diffusion Policy、ACT（Action Chunking with Transformers）等先进方法均在此类数据集上进行了效果比对。另一方面，研究者通过对该数据集进行数据增强、时序重采样或跨任务迁移，构建出变体数据集以探索多任务学习中的干扰抑制与记忆巩固机制。这些工作不仅丰富了机器人学习的方法论宝库，也促使了更高效数据流水线与模型鲁棒性增强技术的诞生。