so101_test

该数据集包含2个总的剧集，1199个帧，1个任务，4个视频和1个数据块。每个数据块的大小为1000，帧率为30。数据集被分为训练集。数据集中的特征包括动作、状态、笔记本电脑摄像头和手机摄像头捕获的图像、时间戳、帧索引、剧集索引、索引和任务索引。动作和状态特征包括主肩部旋转、主肩部提升、主肘部弯曲、主手腕弯曲、主手腕翻转和主夹爪的位置。

原始信息汇总

数据集概述

基本信息

• 创建工具: LeRobot
• 许可证: Apache-2.0
• 主页: 无
• 论文: 无

数据集结构

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 2
• 总帧数: 1199
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30fps
• 数据分割:
  • 训练集: 0:2

数据路径

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images.laptop 和 observation.images.phone):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 高度: 480
    • 宽度: 640
    • 编解码器: av1
    • 像素格式: yuv420p
    • 深度图: false
    • 帧率: 30fps
    • 通道数: 3
    • 音频: 无
• 其他特征:
  • timestamp: float32, [1]
  • frame_index: int64, [1]
  • episode_index: int64, [1]
  • index: int64, [1]
  • task_index: int64, [1]

引用

• BibTeX: 无

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101_test数据集依托LeRobot框架精心构建，采用模块化数据组织策略。该数据集收录了2个完整交互片段，涵盖1199帧时序数据，通过分块存储机制将数据划分为1个容量为1000帧的数据块。数据以Parquet格式保存机器人动作轨迹与状态观测，同步录制双视角视频流，分别来自笔记本电脑与手机摄像头，以30帧/秒的采样率记录480×640分辨率的RGB影像，确保时空数据的完整对齐与高效存取。

特点

该数据集在机器人操作任务中展现出多维融合特性，其动作空间包含六自由度机械臂关节控制参数，涵盖肩部平移、肩部抬升、肘部弯曲及腕部旋转等精细操作维度。观测系统集成双模态视觉输入，配备等分辨率的双摄像头视角，并附带完整的关节状态反馈与时间戳索引。数据结构采用分层命名体系，支持按任务索引、片段索引和帧索引进行多粒度访问，为模仿学习与强化学习算法提供丰富的时空上下文信息。

使用方法

研究人员可通过标准数据加载接口访问该数据集，利用分块路径模板动态加载指定片段的数据文件。训练集涵盖全部2个交互片段，支持以帧为单位提取机器人动作指令、关节状态观测及同步视频流。数据特征包含六维连续动作空间、等维状态空间及双通道视觉输入，使用者可结合时间戳与帧索引重构完整任务轨迹，适用于行为克隆、动态建模等机器人学习任务，实现端到端的策略训练与验证。

背景与挑战

背景概述

在机器人学习领域，高质量示范数据的稀缺性长期制约着策略泛化能力的提升。so101_test数据集基于LeRobot开源框架构建，专门针对六自由度机械臂的操控任务设计，其数据结构包含多视角视觉观测与关节空间动作指令，体现了现代模仿学习对多模态数据融合的前沿需求。该数据集通过同步记录笔记本电脑与手机双视角视频流，并结合六维关节状态信息，为机器人技能迁移研究提供了标准化数据支撑。

当前挑战

该数据集旨在解决机器人动作模仿中的跨视角视觉表征对齐问题，其核心挑战在于异构传感器数据的时空同步精度与高维动作空间的连续建模。构建过程中面临多路视频流编解码一致性维护、机械臂关节轨迹噪声滤除等技术难点，同时受限于有限的任务场景覆盖度，在应对复杂环境变化时可能显现泛化能力不足的缺陷。

常用场景

经典使用场景

在机器人学习领域，so101_test数据集作为LeRobot框架生成的示范性资源，其经典应用场景聚焦于机械臂控制策略的离线评估与算法验证。该数据集通过多视角视觉观测与六维关节动作的同步记录，为模仿学习与强化学习研究提供了标准化的测试平台。研究人员可基于其结构化轨迹数据，系统分析机械臂在模拟环境中的运动规划精度与任务执行效率。

实际应用

在工业自动化场景中，该数据集可指导真实机械臂系统的控制参数调优。基于数据驱动的运动轨迹分析，工程师能够优化抓取任务的路径规划，提升装配线上的操作精度。其多相机视角配置更可延伸至视觉伺服控制系统，为精密制造中的位姿估计提供可靠的训练样本支撑。

衍生相关工作

围绕该数据集衍生的经典研究主要集中于跨模态表征学习领域。学者们利用其同步记录的视觉-动作对数据，开发了基于注意力机制的策略网络架构。后续工作进一步拓展了时空特征提取方法，在动态场景理解与长期任务规划方面取得了突破性进展，推动了具身智能系统的实际部署。