so101_tie_bag

该数据集是一个机器人数据集，包含了62个剧集，总共86880个帧，专注于一个任务。数据集提供了包括动作、状态、手腕左右摄像头图像、顶部摄像头图像和深度信息在内的多种特征。所有视频帧的图像都是480p分辨率，使用AV1编码，没有音频。数据集的具体应用和来源没有详细说明。

This is a robotics dataset containing 62 episodes and a total of 86,880 frames, centered on a single task. It provides multiple types of features including actions, states, images from the left and right wrist-mounted cameras, images from the top-mounted camera, and depth information. All video frames have a resolution of 480p, are encoded in AV1 format, and contain no audio. No detailed information regarding the specific applications or source of this dataset is available.

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so101, tutorial
• 配置:
  • 配置名称: default
  • 数据文件: data//.parquet

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 代码库版本: v2.1
• 机器人类型: so101
• 总集数: 62
• 总帧数: 86880
• 总任务数: 1
• 总视频数: 186
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: 0:62
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作:
  • 数据类型: float32
  • 形状: [12]
  • 名称: 左肩平移、左肩抬升、左肘弯曲、左腕弯曲、左腕旋转、左夹持器、右肩平移、右肩抬升、右肘弯曲、右腕弯曲、右腕旋转、右夹持器
• 观测状态:
  • 数据类型: float32
  • 形状: [12]
  • 名称: 同动作特征
• 左腕图像:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 视频信息: 高度480、宽度640、编码av1、像素格式yuv420p、非深度图、帧率30、通道3、无音频
• 右腕图像:
  • 同左腕图像
• 顶部深度:
  • 数据类型: int32
  • 形状: [480, 640]
• 顶部图像:
  • 同左腕图像
• 时间戳:
  • 数据类型: float32
  • 形状: [1]
• 帧索引:
  • 数据类型: int64
  • 形状: [1]
• 集索引:
  • 数据类型: int64
  • 形状: [1]
• 索引:
  • 数据类型: int64
  • 形状: [1]
• 任务索引:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，so101_tie_bag数据集通过LeRobot框架系统采集，记录了62个完整操作片段，涵盖86880帧实时数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，采样频率为30Hz，确保了时序连续性。采集过程整合了双机械臂的12维关节状态动作指令、多视角视觉信息及深度感知数据，构建了多模态交互记录体系。

特点

该数据集突出表现为多模态异构数据的深度融合，包含左右腕部摄像机480x640分辨率视频流、顶部RealSense深度图像及12自由度双机械臂控制指令。数据维度涵盖关节角度、图像序列、深度信息与时间戳，形成了完整的机器人感知-动作闭环记录。所有数据均采用标准化张量结构存储，支持高效并行读取与跨模态对齐分析。

使用方法

研究人员可通过加载Parquet文件直接访问结构化数据，利用帧索引实现精确时序定位。视频数据采用AV1编码存储，需配合对应解码器还原图像序列。动作与状态数据可直接用于模仿学习算法训练，多视角视觉流支持三维场景重建研究。数据集已预设训练集划分，适用于机器人操作策略的端到端学习验证。

背景与挑战

背景概述

so101_tie_bag数据集作为机器人操作领域的重要资源，由HuggingFace的LeRobot项目团队构建，旨在推动双臂机器人技能学习的研究进展。该数据集聚焦于复杂的物体操作任务，通过记录SO101型双臂机器人在执行系袋动作过程中的多模态传感器数据，为模仿学习与强化学习算法提供了丰富的训练样本。其核心研究问题在于解决高维连续动作空间下的精细操作难题，通过整合关节状态、视觉图像与深度信息，为机器人自主决策系统的开发奠定了数据基础。

当前挑战

该数据集面临的领域挑战在于双臂协调操作中的动态环境适应性与动作精度控制，需克服高维传感器数据与复杂物理交互的耦合关系。构建过程中，多模态数据同步采集与存储效率成为关键技术瓶颈，例如视觉流与关节轨迹的时间对齐需达到毫秒级精度。此外，大规模视频数据的压缩编码与深度信息的无损存储要求平衡数据质量与计算资源，而任务场景的有限多样性也制约了模型的泛化能力提升。

常用场景

经典使用场景

在机器人操作学习领域，so101_tie_bag数据集为双臂协同任务提供了标准化的实验平台。该数据集通过记录SO101型机器人执行物品捆扎动作的完整轨迹，包含关节角度、视觉观测和深度信息等多模态数据，成为验证模仿学习与强化学习算法的经典基准。研究者可利用其高精度动作序列和同步视频流，训练机器人从演示中学习复杂的双手协调策略。

实际应用

工业自动化场景中，该数据集支撑了柔性制造线上双臂机器人的自适应装配技术开发。基于真实捆扎任务采集的轨迹数据，可直接用于训练物流分拣系统中的物品包装机器人，其包含的抓取力度控制与视觉伺服信息，为精密电子元件封装等需触觉反馈的应用提供了关键数据支撑。

衍生相关工作

以该数据集为基石的研究催生了多项创新成果，例如基于时空注意力的跨模态动作预测模型，以及结合元学习的少样本操作技能适配框架。这些工作通过挖掘数据集中隐含的任务约束关系，推动了层次化强化学习在复杂操作任务中的演进，并为后续多机器人协作数据集的构建范式提供了重要参考。