so100_test

这是一个关于机器人的数据集，包含了2个剧集，共1388帧，1个任务，4个视频和1个片段。数据集以Parquet格式存储，并提供了相应的视频文件。每个剧集包含动作、状态和图像等多种特征信息。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot, so100, tutorial
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so100
• 总片段数: 2
• 总帧数: 1388
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率（FPS）: 30
• 分割:
  • 训练集: 0:2
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• action:
  • 数据类型: float32
  • 形状: [7]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_wrist_rotate, main_gripper
• observation.state:
  • 数据类型: float32
  • 形状: [7]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_wrist_rotate, main_gripper
• observation.images.laptop:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.fps: 30.0
    • video.height: 480
    • video.width: 640
    • video.channels: 3
    • video.codec: h264
    • video.pix_fmt: gbrp
    • video.is_depth_map: false
    • has_audio: false
• observation.images.phone:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.fps: 30.0
    • video.height: 480
    • video.width: 640
    • video.channels: 3
    • video.codec: h264
    • video.pix_fmt: gbrp
    • video.is_depth_map: false
    • has_audio: false
• timestamp:
  • 数据类型: float32
  • 形状: [1]
  • 名称: null
• frame_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• episode_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• task_index:
  • 数据类型: int64
  • 形状: [1]
  • 名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性至关重要。so100_test数据集通过LeRobot平台构建，采用高频率传感器记录机械臂的关节角度与视觉信息。数据以30帧每秒的速率采集，涵盖2个完整任务片段，总计1388帧运动轨迹与4段同步视频，并以Parquet格式分块存储确保高效访问。

特点

该数据集的核心价值体现在其多模态特性与精细标注。包含7自由度机械臂的动作向量与状态观测，同步提供笔记本电脑与手机双视角的480×640像素RGB视频流。所有数据均带有时间戳、帧索引及任务索引，支持端到端的模仿学习与行为克隆研究。

使用方法

研究者可通过HuggingFace数据加载器直接读取Parquet文件，利用帧索引实现视频与动作数据的时序对齐。典型应用包括构建状态-动作映射模型，或通过双视角视频训练视觉表征网络。数据遵循Apache 2.0许可，支持商业化研究与系统开发。

背景与挑战

背景概述

机器人操作数据集so100_test由HuggingFace的LeRobot项目团队构建，专注于解决智能机器人操作任务中的数据驱动学习问题。该数据集采用Apache 2.0开源协议，通过多模态数据采集方式记录机械臂的关节状态、视觉观察及动作执行序列，旨在推动机器人模仿学习与强化学习算法的实际应用。其设计体现了对机器人操作任务的高保真数据需求，为研究者提供了真实环境下的操作轨迹与状态转换样本，对提升机器人自主操作能力具有重要价值。

当前挑战

该数据集致力于解决机器人操作任务中的动作规划与状态感知问题，核心挑战包括高维连续动作空间的精确建模、多视角视觉信息与关节状态的时序对齐，以及操作任务的多样性与泛化性要求。在构建过程中，面临多传感器数据同步、大规模视频数据存储与处理，以及真实环境中动态干扰因素的控制等工程技术难题，这些挑战直接影响数据集的质量与算法训练的稳定性。

常用场景

经典使用场景

在机器人学习领域，so100_test数据集主要应用于模仿学习算法的训练与验证。该数据集通过记录SO100机械臂的多模态操作数据，包括关节角度状态和双视角视觉信息，为研究者提供了丰富的示教轨迹。这些数据能够有效支持行为克隆算法的开发，使机器人能够通过学习人类演示来掌握复杂的操作技能。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于Transformer的多模态策略网络、视觉-动作联合嵌入模型等。这些工作充分利用数据集的丰富特征，推动了分层强化学习与模仿学习的融合。相关成果已应用于动态环境下的机器人操作任务，为后续大规模机器人数据集的构建提供了重要参考。

数据集最近研究

最新研究方向

在机器人操作学习领域，so100_test数据集作为LeRobot项目的重要组成部分，正推动多模态感知与强化学习的深度融合研究。该数据集提供的七自由度机械臂运动轨迹与双视角视觉观测数据，为模仿学习与离线强化学习算法提供了高质量的实验基准。当前研究热点集中于利用此类多模态数据实现端到端的策略学习，特别是在少样本场景下的泛化能力提升。随着家庭服务机器人需求的增长，该数据集对实现复杂操作任务的自主执行具有重要价值，为机器人适应非结构化环境提供了关键数据支撑。