so101_test_1

该数据集是一个机器人学领域的应用数据集，包含10个总剧集、8684帧、1个任务和20个视频。数据集以Parquet文件格式存储，每个文件包含1000个数据块。数据集包含的主要特征包括机器人动作、状态观测、两种图像（笔记本电脑和手机）以及时间戳和索引信息。数据集适用于机器人控制和仿真任务。

原始信息汇总

数据集概述

基本信息

• 名称: so101_test_1
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, so101, tutorial

数据集结构

• 总任务数: 1
• 总视频数: 20
• 总片段数: 10
• 总帧数: 8684
• 片段大小: 1000
• 帧率: 30 FPS
• 数据格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 代码库版本: v2.1
• 机器人类型: so101
• 划分: 训练集包含10个片段

特征描述

• 动作特征: 6维浮点数组，包含机械臂各关节角度
• 状态观测: 6维浮点数组，与动作特征结构相同
• 图像观测: 包含笔记本电脑和手机两个视角的视频数据
  • 分辨率: 640×480
  • 通道数: 3
  • 编码格式: H264
  • 像素格式: YUV420P
  • 无音频数据
• 时间信息: 包含时间戳、帧索引、片段索引等元数据

创建信息

• 创建工具: LeRobot
• 主页: 未提供
• 论文: 未提供
• 引用信息: 未提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性至关重要。该数据集通过LeRobot框架构建，采用Apache-2.0许可证，记录了10个完整交互情景，共8684帧数据。数据以分块形式存储于Parquet格式文件中，每块包含1000帧，采样频率为30fps，确保了时序数据的连贯性与完整性。

特点

数据集呈现多模态特性，包含六维关节动作向量、双视角视觉观测（笔记本电脑与手机视角）及时间戳元数据。视觉数据采用H.264编码的彩色视频流，分辨率统一为640×480，动作空间涵盖肩部平移、肩部抬升、肘部屈伸、腕部屈伸、腕部旋转及夹持器控制六个自由度，为机器人模仿学习提供丰富信号。

使用方法

研究者可通过加载Parquet文件访问结构化数据，利用帧索引与情景索引实现精确数据切片。视频数据可通过指定路径解码，动作与状态观测可直接用于策略网络训练。数据集默认划分为训练集，支持端到端的机器人行为克隆与强化学习算法验证。

背景与挑战

背景概述

机器人学习领域近年来对高质量示范数据的需求日益增长，so101_test_1数据集应运而生。该数据集由LeRobot团队基于Apache 2.0开源协议构建，专门针对SO101型机械臂的操控任务设计。数据集包含10个完整示教片段、8684帧多模态观测数据，涵盖机械臂关节状态、双视角视觉信息及精确的时间戳记录。其核心价值在于为模仿学习与强化学习算法提供结构化、可复现的训练基准，推动机器人技能获取研究的标准化进程。

当前挑战

该数据集致力于解决机械臂精细操作中的动作-感知协同挑战，其构建过程面临多重技术难题。多传感器时序对齐需克服视觉帧与关节状态数据的毫秒级同步问题，而高维动作空间的连续控制策略学习对算法泛化能力提出更高要求。数据采集环节需确保双视角视频流与机械臂状态的严格同步，且6自由度关节控制信号的噪声过滤与标准化处理直接影响学习效果。此外，跨设备的数据格式统一与大规模视频数据的高效存储架构亦是关键工程挑战。

常用场景

经典使用场景

在机器人学习领域，so101_test_1数据集作为标准化的测试基准，主要用于评估机械臂控制算法的性能。该数据集通过记录六自由度机械臂的关节角度状态和多视角视觉观测，为模仿学习与强化学习提供了高质量的演示数据。研究者可以基于这些同步的动作-观测序列，训练端到端的策略网络，验证算法在真实物理系统中的泛化能力。

解决学术问题

该数据集有效解决了机器人技能迁移中的示范数据稀缺性问题。通过提供结构化且标注精确的机械臂操作序列，它支持学术界研究高维状态空间下的策略表征学习、多模态感知融合以及时序动作预测等核心问题。其标准化格式降低了不同算法对比的门槛，推动了机器人学习领域的可复现性研究。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于Transformer的多模态策略编码器、分层强化学习框架以及跨任务技能迁移方法。这些工作利用其丰富的关节状态与视觉对应关系，探索了从演示数据中提取可组合子技能的可能性，为后续的大规模机器人数据集构建提供了范式参考。