Physical_AI_SO101_Cup_Nesting_Task
收藏资源简介：
DecisionFacts Physical AI Dataset 是一个专为机器人学习设计的高质量遥操作数据集，基于 SO-101 机械臂（so_follower）采集，旨在支持从模仿学习策略到大规模视觉-语言-动作（VLA）模型及世界模型的训练与评估。每个 episode 都是由训练有素的操作员通过遥操作完成的真实演示，以 30 fps 的帧率同步记录两个摄像头视角的 RGB 视频、机械臂的完整本体感知状态（6 自由度关节状态：shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper）以及动作信号。数据采集遵循严格的标准化协议，包括专家遥操作、同步多模态捕获、一致性检查以及成功/失败/恢复的 episode 结果标注。数据集采用 Hugging Face LeRobotDataset v3.0 格式，每个任务拥有独立的目录，包含 data/（Parquet 格式的帧级状态、动作、索引等）、videos/（两个视角的 AV1 编码 MP4 视频，480×640 分辨率）和 meta/（自描述元数据，如配置、统计信息、任务描述、episode 索引）。每个任务的目标 episode 数量为 30 个以上，并通过域随机化（物体位置、姿态、场景条件变化）增强多样性。数据集适用于 VLA 端到端训练、机器人后训练、VLM 预训练/后训练以及世界模型学习。该仓库为公共评估样本，遵循 CC BY-NC 4.0 许可，仅限研究和评估用途；完整目录可通过商业许可获取。
The DecisionFacts Physical AI Dataset is a high-quality teleoperation dataset designed for robot learning, collected using the SO-101 robotic arm (so_follower), aimed at supporting training and evaluation from imitation learning policies to large-scale Vision-Language-Action (VLA) models and world models. Each episode is a real demonstration performed by a trained operator via teleoperation, synchronously recording RGB videos from two camera perspectives at 30 fps, the complete proprioceptive state of the robotic arm (6-DOF joint states: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper), and action signals. Data collection follows a strict standardized protocol, including expert teleoperation, synchronous multi-modal capture, consistency checks, and episode result annotations (success/failure/recovery). The dataset adopts the Hugging Face LeRobotDataset v3.0 format, where each task has an independent directory containing data/ (frame-level states, actions, indices, etc. in Parquet format), videos/ (AV1-encoded MP4 videos from two perspectives, 480×640 resolution), and meta/ (self-descriptive metadata such as configuration, statistics, task descriptions, episode indices). The target number of episodes per task is more than 30, and diversity is enhanced through domain randomization (object position, pose, scene condition variations). The dataset is suitable for VLA end-to-end training, robot post-training, VLM pre-training/post-training, and world model learning. This repository is a public evaluation sample, licensed under CC BY-NC 4.0, for research and evaluation purposes only; the full catalog can be obtained via a commercial license.
DecisionFacts Physical AI 数据集 — SO-101 机械臂遥操作数据
该数据集是物理AI机器人学习数据集，专门针对SO-101机械臂（so_follower）的遥操作数据进行整理，用于支持从模仿学习到VLA（视觉-语言-动作）模型及世界模型等各类机器人学习模型的训练与评估。
数据概览
- 数据形式：人类专家通过遥操作完成的真实操作演示数据，非脚本或模拟生成
- 数据规模：每个任务包含30条以上演示片段
- 采集频率：30 fps 同步多模态采集
- 多模态内容：双视角RGB视频、6自由度关节状态、控制信号
- 数据格式：遵循 LeRobotDataset v3.0 标准格式
数据集结构
采用 Hugging Face LeRobotDataset v3.0 格式，相比于v2.1（每个片段一个文件），v3.0将多个片段打包到更少的大块文件中，通过关系型元数据而非文件名解析片段边界。
data/ — Parquet分片，包含帧级关节状态、动作、时间戳、索引 videos/ — 双视角同步视频流 observation.images.cam_front/ — 工作区正面视角 observation.images.cam_top/ — 工作区俯视视角（均为 480×640，30fps，AV1编码MP4，无音频） meta/ — 自描述元数据 info.json — 架构、fps、机器人类型、分块配置 stats.json — 特征归一化统计 tasks.parquet — 任务索引 → 自然语言任务描述 episodes/ — 每个片段的长度、任务引用、文件/字节偏移
关键说明：片段不是以独立文件夹或文件存储，而是合并到共享的、容量上限的分块文件中（chunk-000, chunk-001…），需要通过 meta/episodes/ 查询具体位置和帧偏移。
方法论
- 领域随机化：在片段间变化物体位置、姿态和场景条件，降低下游模型对单一演示模式的过拟合
- 标准化采集流程：统一采用30fps双摄同步、6自由度状态/动作记录、一致的任务语言标注
- 人工质量审核：每位操作者演示并复核，确保片段反映一致、成功的任务执行
- 结果多样性：除成功演示外，同时保留部分失败和恢复片段（带
success/failure/recovery结果标签），供世界模型和鲁棒性训练使用
适用人群与场景
- VLA模型训练 — 端到端训练从视觉和语言指令到机器人动作的映射策略
- 机器人后训练 — 基于高质量演示数据微调预训练机器人策略/基础模型
- VLM预训练/后训练 — 利用成对的视觉、语言与交互数据增强具身理解
- 世界模型训练 — 从多视角同步视频和动作/状态序列学习环境与物体动力学预测
许可与访问
- 公开评估样本采用 CC BY-NC 4.0 许可，仅限研究与评估用途
- 商业使用、再分发或用于商业部署模型训练，需另行获取许可
- 完整目录包含更多任务、更大的每任务片段数，并支持自定义采集
- 可联系
info@decisionfacts.io探讨试点批次（200-500个片段）、生产批次（1000+片段）或定制采集方案
引用信息
若使用该数据集，建议引用：
@misc{decisionfacts_teleops_dataset, credits = {Prabhu Raghav, Sreeram B Unni, Balamurugan Pandi, Sriram Gopalan}, year = {2026}, howpublished = {url{https://huggingface.co/datasets/DecisionFacts/Physical_AI_SO101_Cup_Nesting_Task}} }
