so100_test_0329_1

该数据集是一个机器人类数据集，包含9个剧集，共8753帧，2个任务，18个视频。每个剧集被分为一个块，每个块包含1000帧数据。数据集以Parquet文件格式存储，并且提供了对应的视频文件。数据集的帧率为30fps，且视频格式为AV1编码，没有音频。数据集适用于机器人控制任务，特别是针对so100类型的机器人。

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot平台构建，专注于机器人操作任务领域。采用模块化数据采集策略，通过so100型机器人执行2种不同任务，累计采集9个完整操作序列，形成8753帧多模态数据。数据以分块存储方式组织，每个数据块包含1000帧，采用Parquet格式高效存储动作指令、状态观测及多视角视觉数据，帧率稳定维持在30fps以保证时序连贯性。

特点

数据集呈现显著的多模态特性，同步记录六自由度机械臂动作参数、关节状态数据及双视角视觉信息。动作空间涵盖肩部平移/抬升、肘部屈曲、腕部屈曲/旋转和夹持器开合等完整自由度，观测数据包含480×640分辨率的RGB视频流。数据标注体系严谨，每个数据帧均附带精确的时间戳、任务索引和场景索引，为时序行为分析提供结构化支持。

使用方法

研究者可通过HuggingFace平台直接加载Parquet格式数据文件，利用内置的帧索引实现快速数据检索。视频数据采用AV1编码存储，建议使用支持该编码器的视频处理工具链。数据集已预置训练集划分，包含全部9个操作序列，适合用于机器人模仿学习算法的端到端训练。对于特定任务研究，可通过task_index字段筛选相关数据子集。

背景与挑战

背景概述

so100_test_0329_1数据集由LeRobot团队基于Apache 2.0协议构建，专注于机器人控制领域的研究。该数据集记录了SO100型机械臂在多种任务场景下的运动轨迹，包含8753帧高精度动作数据与多视角视频流，为机器人动作学习与状态预测提供了丰富的实验素材。其核心价值在于通过标准化数据格式整合了关节角度、末端执行器状态与视觉观测信息，推动了机器人模仿学习算法的可复现性研究。

当前挑战

该数据集面临的主要挑战体现在两方面：在领域问题层面，如何从有限的任务类型（仅2种）中提取普适性动作表征，以应对真实场景中复杂多变的任务需求；在构建过程中，多模态数据的精确同步与标定成为技术难点，特别是30fps视频流与机械臂关节状态的毫秒级对齐要求对数据采集系统提出了极高精度要求。此外，数据规模较小（仅9条完整轨迹）可能限制深度学习模型的泛化能力。

常用场景

经典使用场景

在机器人控制与行为学习领域，so100_test_0329_1数据集通过记录机械臂关节角度、末端执行器状态及多视角视觉观测，为模仿学习与强化学习算法提供了高维连续动作空间下的标准化训练环境。其包含的6自由度机械臂控制信号与同步视频流，尤其适用于研究视觉-动作联合建模问题，例如从第一视角图像序列预测关节运动轨迹。

解决学术问题

该数据集有效解决了机器人领域动作表示学习中的关键挑战，包括高维连续控制信号的时空对齐、多模态传感器数据的异构融合等问题。通过提供精确的时间戳标注与帧级动作标注，支持研究者验证动作分割算法的精度，并为跨模态表征学习提供了基准测试平台，推动了对机械臂精细操作任务的可解释性研究。

衍生相关工作

基于该数据集的特性，已有研究衍生出基于Transformer的多模态动作预测框架，如ACT（Action Chunking Transformer）。在LeRobot生态中，其数据格式标准催生了针对不同机械臂平台的迁移学习研究，部分成果已应用于仿真到实物的跨域策略转移。