SO-101-ACT-test

该数据集使用LeRobot创建，包含机器人操作的相关数据。数据集包括3个总剧集，2112个总帧数，1个总任务，6个总视频和1个总块。每个块的大小为1000，帧率为30。数据集的结构详细描述了动作、状态观测、手腕图像、前方图像、时间戳、帧索引、剧集索引、索引和任务索引等特征。

This dataset was created using LeRobot and contains data related to robotic manipulation. The dataset comprises 3 total episodes, 2112 total frames, 1 total task, 6 total videos, and 1 total chunk. Each chunk has a size of 1000, with a frame rate of 30 FPS. The structure of this dataset details features including actions, state observations, wrist images, front-facing images, timestamps, frame indices, episode indices, indices, and task indices.

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 代码库版本: v2.1
• 机器人类型: so101_follower

数据集结构

• 总集数: 3
• 总帧数: 2112
• 总任务数: 1
• 总视频数: 6
• 总块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• 动作 (action)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测状态 (observation.state)
  • 数据类型: float32
  • 形状: [6]
  • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos
• 观测图像 (observation.images.wrist)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息: 高度480, 宽度640, 编解码器av1, 像素格式yuv420p, 非深度图, 帧率30 FPS, 通道数3, 无音频
• 观测图像 (observation.images.front)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息: 高度480, 宽度640, 编解码器av1, 像素格式yuv420p, 非深度图, 帧率30 FPS, 通道数3, 无音频
• 时间戳 (timestamp)
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index)
  • 数据类型: int64
  • 形状: [1]
• 集索引 (episode_index)
  • 数据类型: int64
  • 形状: [1]
• 索引 (index)
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index)
  • 数据类型: int64
  • 形状: [1]

分割信息

• 训练集: 0:3

其他信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• 引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，SO-101-ACT-test数据集通过LeRobot框架系统构建，采用Apache 2.0许可证。该数据集包含3个完整的情节，总计2112帧数据，以30帧每秒的速率采集。数据以分块形式存储于Parquet文件中，每块容量为1000帧，确保了高效的数据管理与访问。

使用方法

研究人员可通过解析Parquet文件访问结构化数据，结合视频文件进行多模态学习。数据集适用于机器人控制算法的训练与验证，尤其适合模仿学习与强化学习任务。使用前需配置LeRobot环境，并依据提供的元数据文件解析数据路径与特征结构。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习方向取得显著进展，SO-101-ACT-test数据集作为LeRobot项目的重要组成部分，专注于机械臂操作任务的示范数据收集。该数据集采用Apache 2.0开源协议，通过六自由度机械臂的关节位置控制与多视角视觉观测，为行为克隆与离线强化学习算法提供高质量训练样本。其设计体现了学术界对可复现机器人学习研究的迫切需求，通过标准化数据格式推动跨模型性能比较与研究协作。

当前挑战

该数据集核心挑战在于解决高维连续动作空间下的机械臂精确控制问题，需协调多关节运动与视觉感知的时序对齐。构建过程中面临多模态传感器数据同步的技术难题，包括腕部与前端摄像头视频流与关节状态的毫秒级同步，以及大规模示范数据存储与处理的工程挑战。深度视频编码与高精度动作记录的存储优化亦构成重要技术瓶颈，需要平衡数据质量与存储效率的矛盾需求。

常用场景

经典使用场景

在机器人学习领域，SO-101-ACT-test数据集为模仿学习与行为克隆研究提供了标准化的实验基准。该数据集通过记录六自由度机械臂的关节位置状态与多视角视觉观测数据，完整呈现了机器人执行任务时的动作-观测序列。研究者可基于该时序数据构建端到端的策略网络，训练机器人从原始像素输入到连续动作输出的映射关系，为机器人技能学习提供关键数据支撑。

解决学术问题

该数据集有效解决了机器人视觉运动控制中的多模态感知与动作生成难题。通过提供同步采集的腕部摄像头、前置摄像头观测数据与六维关节动作数据，为研究视觉-动作对应关系建立了精确的时空对齐基准。其丰富的传感器模态支持学术界探索基于视觉的强化学习、状态表示学习等核心问题，显著推进了机器人自主决策能力的发展。

实际应用

工业自动化场景中，该数据集为机器人柔性装配、精密操作等任务提供了可靠的数据范式。基于数据集训练的控制模型可迁移至实际生产线，实现物体抓取、零部件组装等精细化操作。服务机器人领域同样受益，通过模仿学习获得的技能可使机器人完成家居服务、物品递送等需要视觉引导的复杂任务，提升机器人在非结构化环境中的适应能力。

数据集最近研究

最新研究方向

在机器人操作学习领域，SO-101-ACT-test数据集正推动多模态感知与控制策略的融合研究。该数据集通过腕部和前视双视角视频流与六维关节状态数据，为模仿学习与强化学习算法提供了丰富的时空关联信息。当前研究热点集中于利用此类多模态数据提升机械臂在复杂环境中的自适应能力，特别是在少样本学习与跨任务泛化方面取得显著进展。随着具身智能概念的兴起，该数据集为机器人动作表示学习与时空预测模型提供了关键验证基准，对促进家庭服务机器人的实际应用具有重要价值。