so101-cube-test

该数据集使用LeRobot创建，包含200个剧集，共97650帧，1个任务。数据以parquet和mp4格式存储，包括动作、状态、手腕和俯视图的图像等信息。数据集使用Apache-2.0许可证。

This dataset is built using LeRobot, containing 200 episodes with a total of 97,650 frames and targeting one single task. The data is stored in Parquet and MP4 formats, including information such as actions, states, wrist-view images and top-down view images. It is licensed under the Apache-2.0 license.

原始信息汇总

数据集概述

基本信息

• 数据集名称: so101-cube-test
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 200
• 总帧数: 97650
• 帧率: 30 FPS
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 分块大小: 1000
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据划分

• 训练集: 0-200回合

数据结构

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节位置:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

腕部图像观测

• 名称: observation.images.wrist
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30
• 深度图: 否
• 音频: 无

俯视图像观测

• 名称: observation.images.overhead
• 数据类型: video
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 帧率: 30
• 深度图: 否
• 音频: 无

索引字段

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 回合索引: int64 [1]
• 数据索引: int64 [1]
• 任务索引: int64 [1]

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性与系统性至关重要。so101-cube-test数据集通过LeRobot平台构建，采用SO101型跟随机器人执行单一任务，共记录200个完整交互序列，累计97650帧数据。数据以分块方式存储于Parquet格式文件中，每块包含1000帧，确保高效存取与处理。采集过程中同步记录机器人关节位置、腕部及俯视视角的图像流，帧率稳定维持在30fps，为机器人控制研究提供了结构化且连贯的多模态数据源。

使用方法

针对机器人学习算法的实践需求，该数据集可通过标准数据加载流程进行调用。用户依据meta/info.json中的路径规范，按分块索引读取Parquet格式的观测-动作对序列。训练时可直接提取state特征作为策略网络输入，结合wrist与overhead双视角图像构建端到端感知模型。研究者可利用episode_index实现轨迹级采样，通过frame_index进行帧级精确控制，其30fps的时序一致性特别适用于动态行为建模与长期依赖关系分析，为机器人技能迁移提供标准化实验基准。

背景与挑战

背景概述

在机器人技术迅猛发展的背景下，so101-cube-test数据集应运而生，专注于机械臂操作任务的深度研究。该数据集由LeRobot团队构建，依托Apache 2.0开源协议，旨在推动机器人模仿学习与自主控制算法的进步。其核心研究问题聚焦于多模态感知与动作执行的协同优化，通过整合关节状态数据、视觉观测信息及精确时间戳，为机器人精细操作任务提供了标准化评估基准。该数据集涵盖200个完整交互序列与近十万帧多维数据，显著提升了机器人任务泛化能力的研究效率。

当前挑战

该数据集致力于解决机器人操作任务中动作规划与视觉感知融合的经典难题，尤其在复杂环境下机械臂的精准控制面临巨大挑战。构建过程中需克服多传感器数据同步的技术瓶颈，确保关节角度与双视角图像的时间一致性。海量视频数据的压缩存储与高效检索要求设计特殊编码方案，而六自由度动作空间的连续标注更需平衡精度与计算成本。此外，跨设备的数据采集标准化问题亦成为影响数据集质量的关键因素。

常用场景

经典使用场景

在机器人控制领域，so101-cube-test数据集通过记录机械臂关节位置与多视角视觉数据，为模仿学习算法提供了丰富的训练资源。该数据集典型应用于机器人操作任务的策略学习，研究者可利用其包含的腕部与俯视摄像头视频流，结合六自由度关节动作轨迹，训练模型理解复杂环境下的物体操控行为。

解决学术问题

该数据集有效解决了机器人领域样本效率低下的核心难题，通过提供97650帧结构化数据，显著降低了真实机器人实验的时间与经济成本。其标准化动作空间与多模态观测设计，为验证端到端强化学习、行为克隆等算法提供了基准测试平台，推动了机器人感知-控制一体化研究的发展。

实际应用

在工业自动化场景中，该数据集支撑了智能分拣系统的开发，通过解析机械臂抓取轨迹与视觉反馈的对应关系，优化了物流仓储中的物体搬运流程。其多视角视频数据还可用于构建数字孪生系统，在虚拟环境中预演机器人作业方案，大幅提升实际部署的安全性与可靠性。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101-cube-test数据集凭借其多模态观测与关节控制数据，正推动模仿学习与视觉运动策略的前沿探索。当前研究聚焦于融合腕部与俯视双视角视频流，结合六自由度机械臂动作轨迹，构建端到端的深度强化学习框架。随着具身智能研究热潮的兴起，该数据集为跨场景操作泛化、多任务策略迁移等关键问题提供了验证基准，其标准化数据架构对机器人开源生态建设具有重要推动作用。