farpoint-so101

Farpoint SO-101是一个在Isaac Lab中生成的机器人操作数据集，由SO-101机械臂完成240个成功演示，任务为拾取立方体并放置在绿色目标垫上。数据集包含180个标称演示和40个连续状态恢复演示，其中训练集220个（含40个恢复演示），验证集20个。标称演示覆盖了多种变化：对象变体（100个蓝色立方体尺寸0.03m/质量0.03kg，100个红色立方体尺寸0.04m/质量0.04kg）、位置（连续确定性采样：核心50、中间100、外部50）、立方体偏航（五个等层，每层40个演示）以及放置目标（绿色凸起垫0.16m x 0.14m）。数据以30Hz采集，共183,914帧，总计约1小时42分钟10秒。提供前置和腕部RGB相机视频，分辨率640x480，帧率30Hz。策略特征包括：observation.state（6维关节位置）、observation.images.front（前置相机视频）、observation.images.wrist（腕部相机视频）和action（6维关节位置目标）。该数据集适用于机器人学习pipeline开发、行为克隆实验、模拟评估、数据加载器测试以及变体感知操作研究。数据集采用CC BY 4.0许可，基于Isaac Sim 6.0.0、PhysX和Isaac Lab 3.0.0-beta2生成，第三方组件（如Isaac Sim、Isaac Lab、NVIDIA Omniverse等）不重新许可。Farpoint SO-101 is a robot manipulation dataset generated in Isaac Lab, consisting of 240 successful demonstrations by the SO-101 robotic arm for the task of picking up a cube and placing it on a green target pad. The dataset includes 180 nominal demonstrations and 40 continuous state recovery demonstrations, with a training set of 220 (including 40 recovery demonstrations) and a validation set of 20. The nominal demonstrations cover various variations: object variants (100 blue cubes of size 0.03m/mass 0.03kg, 100 red cubes of size 0.04m/mass 0.04kg), positions (continuous deterministic sampling: core 50, middle 100, outer 50), cube yaw (five equal layers, 40 demonstrations per layer), and placement target (green raised pad 0.16m x 0.14m). Data is collected at 30Hz, totaling 183,914 frames, approximately 1 hour, 42 minutes, and 10 seconds. Front and wrist RGB camera videos are provided with resolution 640x480 and frame rate 30Hz. Policy features include: observation.state (6D joint positions), observation.images.front (front camera video), observation.images.wrist (wrist camera video), and action (6D joint position targets). The dataset is suitable for robot learning pipeline development, behavior cloning experiments, simulation evaluation, data loader testing, and variant-aware manipulation research. The dataset is licensed under CC BY 4.0, generated based on Isaac Sim 6.0.0, PhysX, and Isaac Lab 3.0.0-beta2, and third-party components (such as Isaac Sim, Isaac Lab, NVIDIA Omniverse, etc.) are not re-licensed.

原始信息汇总

Farpoint SO-101 数据集概述

基本介绍

Farpoint SO-101 是一个基于 Isaac Lab 模拟器生成的机器人操作演示数据集，包含 240 个成功演示片段。数据集遵循 CC BY 4.0 许可证，格式为 Parquet，包含视频模态数据，采用 LeRobotDataset-v3 标准。

任务与机器人

• 任务：抓取立方体并将其放置在绿色目标垫上
• 机器人：SO-101 从动臂，包含 5 个臂关节和 1 个夹爪关节
• 模拟器：Isaac Sim 6.0.0 + PhysX，基于 Isaac Lab 3.0.0-beta2
• 控制器：基于仿真真值的接触感知 DLS IK 专家控制器

数据规模

指标	数值
演示片段	240 个成功演示
总帧数	183,914 帧，30 Hz（约 1 小时 42 分 10 秒）
相机	前置和腕部 RGB 相机，各 640 x 480 分辨率，30 Hz

数据划分

划分	名义演示	恢复演示	合计
训练集	180	40	220
验证集	20	0	20
总计	200	40	240

名义演示变化覆盖

• 物体变体：100 个蓝色立方体（0.03 m / 0.03 kg），100 个红色立方体（0.04 m / 0.04 kg）
• 位置：跨可行工作空间的连续确定性采样，核心区 50 个，中间区 100 个，外部区 50 个
• 立方体偏航角：[0°, 90°) 范围分五个等层，每层 40 个演示
• 放置目标：绿色凸起垫，尺寸 0.16 m x 0.14 m

策略特征

特征	形状/格式	描述
observation.state	float32[6]	当前 SO-101 关节位置
observation.images.front	视频，480 x 640 x 3	外部前置相机 RGB 图像
observation.images.wrist	视频，480 x 640 x 3	腕部相机 RGB 图像
action	float32[6]	控制步发送的关节位置目标

预期用途

该数据集面向机器人学习管线开发、行为克隆实验、仿真评估、数据加载器测试，以及变化感知操作研究。

许可与第三方组件

• Farpoint 原创内容采用 CC BY 4.0 许可证
• Isaac Sim、Isaac Lab、NVIDIA Omniverse 等第三方资产不在再许可范围内
• SO-101 USD 模型来源于 NVIDIA 的 Sim-to-Real SO-101 工作坊第 ce807d99 提交，其上游 Apache-2.0 声明和 Farpoint 的第三方归属声明适用

版本与引用

数据集版本与 Farpoint Python 包版本相互独立。使用时需引用 Farpoint 源代码仓库，并注明数据集仓库地址和使用的不可变版本标签。数据集变更记录可通过 数据集变更日志 查看。

质量报告

训练集中包含 40 个连续状态恢复演示，恢复阶段详细分解及证据请参考 数据集质量报告。

搜集汇总

数据集介绍

构建方式

本数据集由Farpoint项目在Isaac Sim与Isaac Lab仿真环境中生成，针对SO-101机械臂的操控任务，采集了240条成功演示，涵盖183,914帧30Hz的高频数据。构建过程采用了真值接触感知的DLS IK控制器，确保了演示的精确性。数据按逻辑分为训练集与验证集，其中训练集包含180条常规演示与40条恢复演示，恢复演示用于增强模型对异常状态的应对能力。同时，数据采集覆盖了物体变体、位置、偏航角等多维变化，共计200种标称变体，以提升模型的泛化性能。

特点

该数据集的特点在于其丰富的变化覆盖与精细的仿真保真度。物体位置跨越可行工作空间的核心、中部与外围区域，立方体偏航角在0°至90°间均匀分层，每种分层均有40条演示，确保了数据的全面性。前后双RGB摄像头视图（640x480@30Hz）为多视角学习提供了支持。状态与动作空间均为6维关节目标，格式统一，便于直接用于行为克隆等算法。此外，数据集遵循CC BY 4.0许可，并附带详细的质量报告与版本变更日志，体现了高度的可复现性与透明性。

使用方法

该数据集旨在服务于机器人学习流水线的开发与评估，包括行为克隆实验、仿真评估、数据加载器测试以及变体感知操控的研究。使用者可加载parquet格式的训练与验证数据，利用其状态、图像与动作信息构建策略模型。图像以视频形式存储，需结合仿真环境进行可视化或训练。建议引用Farpoint源仓库及数据集版本号，以确保工作的可追溯性。数据集与相关代码及质量报告已开源，便于研究者复现实验并在此基础上扩展。

背景与挑战

背景概述

Farpoint SO-101数据集由华中科技大学的研究人员于2024年创建，基于NVIDIA Isaac Sim和Isaac Lab仿真环境生成，旨在为机器人操作学习提供高质量的合成演示数据。该数据集聚焦于‘抓取立方体并放置在绿色目标垫’这一典型操作任务，包含240个成功演示，总计约18.4万帧，配备前视和腕部RGB摄像头，提供关节位置与动作信息。其核心研究问题在于利用仿真数据加速机器人学习算法的开发与评估，特别是在变体感知操作方面。该数据集为行为克隆、数据加载器测试及仿真评估等研究提供了标准化基准，对推动机器人学习领域的可复现性研究具有积极影响。

当前挑战

该数据集面临的挑战包括：其一，领域问题层面，机器人操作学习常受限于真实数据获取成本高昂且难以覆盖多样化场景，而仿真数据虽可扩展，但存在仿真到现实的泛化鸿沟，如何确保合成数据在真实世界中的有效性是核心挑战；其二，构建过程中，需在Isaac Lab中设计可控的变体采样策略（如目标位置、颜色、尺寸、偏航角的分层采样）以覆盖任务空间，同时平衡演示质量与数据量；此外，恢复演示的引入增加了数据复杂性，如何准确标注和利用这些状态以提升策略鲁棒性，也构成构建中的关键难点。

常用场景

经典使用场景

Farpoint SO-101数据集为机器人学习领域提供了一套基于Isaac Lab仿真环境生成的高质量操作演示数据，其核心任务为抓取立方体并放置于指定目标区域。该数据集包含240条成功演示，涵盖双相机视角（前方与腕部）的同步RGB视频流及关节状态信息，为行为克隆、模仿学习等经典机器人学习范式提供了标准化的训练与验证基准。其多样化的物体变体、位置跨度和姿态分层采样设计，使之成为评估算法泛化能力与鲁棒性的理想测试平台，尤其适用于操作策略的仿真内预训练与跨场景迁移研究。

实际应用

在实际应用中，该数据集可作为工业分拣、仓储物流等场景中机械臂抓取-放置任务的行为克隆训练素材，助力快速部署具备基础操作能力的机器人单元。其仿真数据特性允许在部署前于虚拟环境进行大规模策略验证与安全测试，降低现场调试风险与成本。此外，该数据集适配LeRobot等开源工具链，支持数据加载、策略训练与评估的流水线整合，为中小型研发团队提供了低成本获取高质量操作数据的途径，加速了从算法原型到工业原型的转化进程。

衍生相关工作

该数据集衍生出了多项经典工作，例如基于其标准化格式开发的统一数据加载器与基准测试框架，促进了不同机器人学习算法的横向比较。其恢复演示设计启发了针对干扰恢复策略的研究，推动了闭环控制与自适应调整能力的探索。同时，该数据的多模态记录（视频+状态）为视觉-运动联合建模、跨模态表征学习等前沿方向提供了便利，衍生出诸如目标条件模仿学习、动态运动基元融合等算法变体。这些工作共同丰富了机器人操作学习的理论工具箱，并推动了数据驱动方法在复杂装配、精密操作等高级任务中的应用延伸。