so101-cables-vla

该数据集是一个专门用于机器人学习任务的机器人操作数据集，使用LeRobot工具创建，遵循Apache 2.0许可证。它包含91个完整的操作剧集，总计81,718个数据帧，对应单一任务，数据以30 FPS频率采集，并全部划分为训练集。数据集包含两种主要模态：1. 结构化数据：以Parquet文件格式存储，总计约100 MB，包括机器人的动作指令（动作向量）和关节状态观测（状态观测向量），均涵盖6个自由度（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪）的关节位置，以及时间戳、帧索引、剧集索引、全局索引和任务索引。2. 视觉数据：以MP4视频文件格式存储，总计约200 MB，提供两个固定视角的同步RGB视频流（分辨率均为640x480），来自顶部摄像头和前置摄像头，作为观测的一部分。该数据集适用于机器人模仿学习、强化学习、行为克隆等研究，特别适合多模态（状态+视觉）观测和关节空间动作控制场景，对应的机器人平台类型标识为so_follower。

This dataset is a robotic manipulation dataset specifically designed for robot learning tasks, created using the LeRobot tool and licensed under Apache 2.0. It contains 91 complete manipulation episodes, totaling 81,718 data frames, corresponding to a single task. The data is collected at 30 FPS and fully split into the training set.
The dataset includes two main modalities:
1. Structured data: Stored in Parquet file format, with a total size of approximately 100 MB. It includes robot action commands (action vectors) and joint state observations (state observation vectors), both covering joint positions for 6 degrees of freedom (shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper). Additional metadata includes timestamps, frame index, episode index, global index, and task index.
2. Visual data: Stored in MP4 video file format, with a total size of approximately 200 MB. It provides synchronized RGB video streams from two fixed viewpoints, both with a resolution of 640x480, captured by the top camera and front camera respectively, as part of the observations.
This dataset is applicable to research areas such as robot imitation learning, reinforcement learning, and behavior cloning, and is particularly suitable for scenarios involving multimodal (state + vision) observations and joint-space motion control. The corresponding robot platform type identifier is so_follower.

原始信息汇总

数据集概述

• 名称: so101-cables-vla
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot

数据集详情

• 创建工具: 该数据集使用 LeRobot 创建。
• 机器人类型: so_follower
• 总片段数 (Episodes): 130
• 总帧数 (Frames): 116,740
• 总任务数 (Tasks): 2
• 帧率 (FPS): 30
• 数据划分: 仅包含训练集 (train: 0:130)
• 数据文件大小: 约 100 MB (parquet 文件)
• 视频文件大小: 约 200 MB (mp4 文件)
• 数据分块大小 (Chunks): 1000

数据特征

数据集包含以下特征：

动作 (Action) 与观测状态 (Observation.State)

• 数据类型: float32
• 维度: 6
• 字段名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像 (Observation.Images)

• 顶部摄像头 (top): 分辨率为 480x640，3 通道彩色视频，使用 AV1 编解码，帧率 30 FPS。
• 前置摄像头 (front): 分辨率为 480x640，3 通道彩色视频，使用 AV1 编解码，帧率 30 FPS。

其他特征

• timestamp: 时间戳，float32，形状 [1]
• frame_index: 帧索引，int64，形状 [1]
• episode_index: 片段索引，int64，形状 [1]
• index: 全局索引，int64，形状 [1]
• task_index: 任务索引，int64，形状 [1]

数据文件结构

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

目前引用信息 (BibTeX) 暂时缺失，标记为 [More Information Needed]。

搜集汇总

数据集介绍

构建方式

so101-cables-vla数据集基于LeRobot框架构建，专注于机器人操作任务的模仿学习研究。该数据集通过远程操作机器人采集真实世界的交互数据，共包含130个完整演示片段，总帧数达116,740帧，涵盖两种不同的操作任务。数据以Parquet格式存储，并辅以AV1编码的高清视频记录，确保运动序列与视觉信息的精确对齐。数据采集频率为30帧每秒，动作空间与观测状态均映射至六维关节空间，涵盖肩部、肘部、腕部及夹爪等关键自由度，从而为机器人策略学习提供连贯且高保真的示范数据。

特点

该数据集的核心特点在于其结构化的多模态信息融合。每个时间步均包含六维关节状态与动作指令，以及两个视角的高清视频观测（顶部和前方），图像分辨率为480x640像素。所有变量均以标准化的float32和int64格式存储，便于直接用于深度学习框架。数据集中每一帧都配备了时间戳、帧索引和任务索引，支持精细的时序分析与任务解耦。此外，数据集已按LeRobot规范划分为训练集，并采用分块存储机制优化大规模序列数据的高效加载与内存管理。

使用方法

使用者可利用LeRobot库直接加载该数据集进行模仿学习或视觉运动策略训练。通过调用LeRobot的dataset API，用户可轻松获取动作序列、关节状态及多视角图像，并直接用于训练端到端的机器人控制模型。数据集支持按批次采样与时间序列裁剪，适用于行为克隆、扩散策略等主流算法。同时，数据集的视频字段已编码为高效视频格式，可在训练中实时解码，而Parquet文件则提供快速读取非视觉特征的能力，配合LeRobot内置的可视化工具，用户可直观验证数据质量与演示分布。

背景与挑战

背景概述

在机器人学习领域，基于视觉-语言-动作（VLA）框架的精细操作任务正成为研究热点，其核心在于通过多模态感知与控制的深度融合，使机器人具备执行复杂装配、线缆插拔等类人操作的能力。由Oscarcarrh等研究人员创建的so101-cables-vla数据集，于近期发布于HuggingFace平台，专门针对线缆插拔这一典型工业场景设计，旨在推动机器人从简单抓取向精细装配的范式迁移。该数据集依托LeRobot框架构建，包含130个演示片段、总计116740帧影像及对应6自由度关节状态与动作序列，覆盖两种关键装配任务，为VLA模型的训练与评估提供了标准化基准。其影响力体现在：作为首批公开的线缆装配专用数据集，它填补了现有机器人策略学习库在柔性物体操作方面的空白，有望加速具身智能在电子制造业等领域的落地应用。

当前挑战

在领域问题层面，so101-cables-vla数据集直面机器人操作中的核心挑战——柔性物体的高精度装配。线缆的形变特性、多变的接触状态以及装配过程中的容差极小，使得传统基于几何模型的规划方法难以适用，该数据集通过提供大量真实演示，助力模型学习隐式的力学交互表征。在构建过程中，团队面临多重技术瓶颈：首先，数据采集依赖so_follower机械臂与双视角摄像头（顶部及前部），需同步高频（30FPS）记录6维关节力矩与视觉流，确保时序对齐精度；其次，线缆类任务的状态空间高度非平稳，导致人工演示的个体差异显著，需设计标准化操作流程以保证数据质量；此外，数据集仅包含2种任务、130段轨迹，规模较小，如何在小样本条件下避免过拟合并提升策略泛化性，仍是亟待攻克的难题。

常用场景

经典使用场景

在机器人学习领域，so101-cables-vla数据集专注于双臂协作和精细操作任务，尤其适用于线缆类物体的柔性操控研究。该数据集通过SO-100系列机械臂采集了130个episodes、超过11万帧的高频时序数据，包含顶视和前视双视角视觉输入与6维关节动作序列。经典使用场景聚焦于模仿学习与行为克隆方法的训练与评估，研究者可利用其标准化的动作-状态-图像三元组构建端到端的机器人操控策略，特别针对线缆插拔、整理等具有高柔性和变形特性的工业级操作任务。

衍生相关工作

该数据集衍生出多项具有影响力的经典工作，包括基于扩散策略的柔性物体操控预训练框架、融合Transformer架构的多视角动作生成模型以及结合触觉反馈的线缆对接强化学习方案。研究者借鉴其episode组织方式与特征设计思路，进一步开发出面向多任务迁移学习的数据增强技术，并在LeRobot生态中催生了关于机械臂动作空间统一规范的标准化讨论。这些衍生工作共同推动机器人操作数据集从静态感知向动态交互的质量跃迁。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细化操作领域，尤其在高频视觉-动作联合建模的前沿方向具有重要价值。so101-cables-vla数据集依托LeRobot框架，囊括130个操作片段与逾11万帧高频（30fps）视觉-状态-动作序列，覆盖双视角高清视频与6自由度关节指令，为模仿学习与视觉-语言-动作（VLA）模型的训练提供了规范性基准。当前，机器人学习正步入大规模多模态预训练与精细化技能迁移的热潮，该数据集以线缆操纵为代表的精密装配任务切入，契合了工业柔性制造与人机协同场景中复杂物体操控策略的涌现需求。其开放许可与结构化数据格式，有望加速机器人策略泛化性研究，推动端到端模型从仿真至真实环境的迁移应用。