fixed

该数据集是一个关于机器人技术的数据集，包含50个剧集，共22454帧，1个任务，150个视频和1个片段。每个片段包含1000个数据点，帧率为30fps。数据集被分割为训练集。数据集的特征包括机器人的动作和状态，以及三个不同的图像流（基础、夹爪和鸟瞰图）。所有视频均为480p分辨率，使用av1编码，没有音频。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so101, tutorial
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 50
• 总帧数: 22454
• 总任务数: 1
• 总视频数: 150
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.images.base:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: height=480, width=640, codec=av1, pix_fmt=yuv420p, is_depth_map=false, fps=30, channels=3, has_audio=false
• observation.images.gripper:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: height=480, width=640, codec=av1, pix_fmt=yuv420p, is_depth_map=false, fps=30, channels=3, has_audio=false
• observation.images.bird:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息: height=480, width=640, codec=av1, pix_fmt=yuv420p, is_depth_map=false, fps=30, channels=3, has_audio=false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，fixed数据集依托LeRobot框架构建，通过采集真实机械臂操作场景的多模态数据。该数据集包含50个完整操作序列，总计22454帧数据，以30fps的帧率记录，采用分块存储策略，每个数据块容纳1000帧，并以Parquet格式高效组织，确保数据的完整性与可访问性。

特点

fixed数据集的特点体现在其丰富的多模态观测与精确的动作标注。观测数据涵盖三路高清视频流（基座、夹爪及俯视视角），分辨率均为640x480，辅以六维关节状态信息；动作空间则完整记录六自由度机械臂的关节控制参数，包括平移与旋转维度，为模仿学习与强化学习提供高保真环境交互记录。

使用方法

该数据集适用于机器人行为克隆与策略学习研究，用户可通过加载Parquet文件直接获取时序对齐的多模态数据流。训练时需注意数据仅包含单一任务场景，建议结合帧索引与回合索引构建离线训练批次，并利用视频解码接口实时渲染视觉观测，以复现机械臂操作过程中的动态感知与决策逻辑。

背景与挑战

背景概述

机器人学习领域近年来愈发重视真实环境下的智能体行为建模，fixed数据集作为LeRobot项目的重要组成部分，专注于SO101型机器人的多模态数据采集。该数据集通过整合关节状态、视觉观测与动作指令等多维度信息，为模仿学习与强化学习算法提供了丰富的训练素材。其采用Apache 2.0开源协议，包含50个完整任务片段和超过2.2万帧同步数据，显著提升了机器人操作任务的数据多样性。

当前挑战

该数据集致力于解决机器人操作任务中的动作预测与状态感知问题，其核心挑战在于高维连续动作空间的多模态对齐与时序一致性保持。数据构建过程中面临传感器同步精度控制、多视角视频流无损压缩、以及机械臂关节状态标定等工程技术难题。此外，真实环境中光照变化与物体位姿不确定性对视觉特征的稳定性提出了更高要求。

常用场景

经典使用场景

在机器人学习领域，fixed数据集通过多视角视觉观测与六自由度机械臂动作的同步记录，为模仿学习与行为克隆算法提供了标准化的训练范式。其包含的50个完整操作序列与22454帧高分辨率视频数据，能够有效支撑端到端策略网络从原始像素输入到连续关节控制量的映射学习。

解决学术问题

该数据集显著解决了机器人操作任务中动态环境感知与精确动作生成的耦合难题。通过提供基座视角、夹爪视角与鸟瞰视角的三重视觉反馈，研究者可系统性探索多模态感知对动作预测精度的影响，同时其规范化的数据结构和时间对齐特性为强化学习中的奖励函数设计与状态表示学习提供了基准验证平台。

衍生相关工作

基于该数据集的多模态特性，已有研究衍生出时空注意力机制的行为克隆模型、跨视角视觉特征融合网络等创新架构。在元学习方向，该数据被用于构建少量样本下的机械臂操作技能快速适配框架，其标准化的数据格式也促进了不同机器人学习算法在统一基准下的性能对比研究。