so100_co_2

这是一个关于机器人行为的视频数据集，包含了so100型机器人的动作和状态信息，以及与机器人交互的笔记本电脑和手机的同步视频数据。数据集共有1个剧集，2807帧，1个任务，2个视频，分为1个片段，每个片段包含1000帧。所有视频的帧率为30fps，数据集按照Apache-2.0许可进行发布。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: robotics
• 标签: LeRobot, so100, tutorial
• 数据集配置:
  • 默认配置: data//.parquet

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 1
• 总帧数: 2807
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割:
  • 训练集: 0:1

数据路径

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• observation.images.laptop:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 帧率: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道数: 3
    • 编解码器: h264
    • 像素格式: yuv420p
    • 深度图: false
    • 音频: false
• observation.images.phone:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 帧率: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道数: 3
    • 编解码器: h264
    • 像素格式: yuv420p
    • 深度图: false
    • 音频: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]
• cohesion:
  • 数据类型: float32
  • 形状: []

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so100_co_2数据集通过LeRobot平台精心构建，采用先进的实验数据采集方法。数据集以so100型机器人为研究对象，记录了2807帧的实验数据，包含6自由度机械臂动作和状态信息，并以30fps的帧率同步采集了笔记本电脑和手机视角的双目视觉数据。数据以分块方式存储，每个数据块包含1000帧，采用Parquet格式确保高效存取。

特点

该数据集最显著的特点在于其多维度的机器人操作数据融合。不仅包含6维关节空间的动作指令和状态反馈，还整合了双视角的RGB视频流，为研究视觉-动作耦合提供了丰富素材。时间戳、帧索引和任务索引等元数据设计完善，特别是独特的cohesion指标为分析任务连贯性提供了量化依据。所有数据均以标准化格式存储，动作和状态数据的命名规范清晰，便于直接用于机器学习模型的训练。

使用方法

研究人员可通过解析Parquet文件直接获取结构化数据，配合附带的视频文件进行多模态分析。数据集已预设训练集划分，建议使用帧索引作为时序标识，结合episode_index实现分幕处理。对于动作学习任务，可直接调用预定义的6维关节空间数据；视觉任务则可利用480×640分辨率的双视角视频流。cohesion指标适合作为强化学习中的稀疏奖励信号，为策略优化提供额外监督。

背景与挑战

背景概述

so100_co_2数据集是机器人学领域的一项重要资源，由LeRobot团队创建并维护。该数据集专注于机器人动作控制与状态观测的研究，涵盖了机械臂的多种运动状态及其对应的视觉反馈。数据集包含2807帧数据，涉及6自由度机械臂的动作与状态记录，同时配备了多视角的视频数据。其核心研究问题在于如何通过多模态数据（如关节角度、视觉信息）提升机器人动作控制的精确性与适应性。这一数据集的发布为机器人学习算法的训练与验证提供了宝贵的高质量数据支持，推动了机器人控制领域的实证研究发展。

当前挑战

so100_co_2数据集面临的挑战主要集中在两个方面。首先，在领域问题层面，机器人动作控制需要处理高维连续动作空间与复杂环境感知的耦合问题，如何从有限的示范数据中学习鲁棒的控制策略仍是一个开放性问题。其次，在数据构建过程中，多传感器数据的同步采集与标定、长时序数据的一致性保持、以及多模态数据（如视频流与关节状态）的精确对齐等技术难题需要克服。此外，数据集的规模相对较小，可能限制其在复杂任务中的泛化能力评估。

常用场景

经典使用场景

在机器人控制与行为学习领域，so100_co_2数据集以其多模态数据结构和精细的动作标注成为研究机器人任务执行的理想选择。该数据集记录了机械臂的关节角度、末端执行器状态以及多视角视觉信息，为模仿学习、强化学习等算法提供了丰富的训练素材。研究者可利用其高精度时间同步的传感器数据，构建从感知到动作的端到端控制模型。

衍生相关工作

该数据集的发布催生了多个机器人学习领域的创新研究，包括基于时空注意力机制的行为克隆框架、多传感器融合的接触力预测模型等。部分工作利用其视频-动作对数据开发了跨模态预训练方法，这些成果在ICRA、IROS等机器人顶会上形成了系列论文，逐步建立起基于真实机器人操作数据的评估标准体系。

数据集最近研究

最新研究方向

在机器人学领域，so100_co_2数据集凭借其丰富的多模态数据特性，正成为机器人动作学习与任务规划研究的热点资源。该数据集通过整合机械臂关节状态、视觉观测和时间序列信息，为模仿学习与强化学习算法的训练提供了高保真仿真环境。近期研究聚焦于利用其6自由度机械臂动作数据和双视角视觉输入，探索跨模态表征学习在复杂操作任务中的迁移能力，特别是在稀疏奖励场景下的策略优化问题。随着LeRobot生态系统的持续完善，该数据集在机器人技能泛化性和人机协作任务中的潜力正引发学术界广泛关注。