pick_orange_aligned_100

本数据集为 SO101 PickOrange Aligned 100，由宇哥的具身笔记在 LeIsaac / Isaac Lab 仿真环境中生成，采用 LeRobot Dataset v3 格式。任务为 LeIsaac-SO101-PickOrange-v0，使用 SO101 机械臂（so101_follower）进行 PickOrange 任务。数据集包含 100 个 episodes，共 97,600 帧，帧率为 30 FPS。动作和状态维度均为 6 维。配备 front 和 wrist 两路相机，图像尺寸为 640×480，视频编码采用 AV1。数据划分中训练集为 0 到 100 号 episode。数据结构包括 data/（每帧状态、动作、时间戳和索引）、meta/（数据集说明、统计量、任务和 episode 元数据）、videos/（front 与 wrist 两路相机视频）。主要字段有：observation.state（SO101 六维关节状态）、action（SO101 六维关节动作）、observation.images.front（前视相机图像）、observation.images.wrist（腕部相机图像）、timestamp、frame_index、episode_index、task_index。该数据集适用于具身智能、机器人模仿学习研究以及 LeRobot 数据处理教学，可用于数据读取、可视化、质量检查及策略训练实验。注意：数据来自仿真环境，不代表真实机械臂上的传感器噪声、动力学误差和安全约束，将模型迁移到真机前需进行标定、安全限制和 sim-to-real 验证。This dataset is SO101 PickOrange Aligned 100, generated by Yuges Embodied Notes in the LeIsaac / Isaac Lab simulation environment, using the LeRobot Dataset v3 format. The task is LeIsaac-SO101-PickOrange-v0, using the SO101 robotic arm (so101_follower) to perform the PickOrange task. The dataset contains 100 episodes, totaling 97,600 frames, with a frame rate of 30 FPS. Both action and state dimensions are 6. It is equipped with front and wrist cameras, image size is 640×480, and video encoding uses AV1. The training set includes episodes 0 to 100. The data structure includes data/ (state, action, timestamp, and index per frame), meta/ (dataset description, statistics, task and episode metadata), and videos/ (front and wrist camera videos). Main fields include: observation.state (SO101 6-DoF joint state), action (SO101 6-DoF joint action), observation.images.front (front camera image), observation.images.wrist (wrist camera image), timestamp, frame_index, episode_index, task_index. This dataset is suitable for embodied intelligence, robot imitation learning research, and LeRobot data processing teaching, and can be used for data reading, visualization, quality checking, and policy training experiments. Note: The data comes from a simulation environment and does not represent sensor noise, dynamic errors, or safety constraints of a real robotic arm. Before transferring the model to a real robot, calibration, safety limits, and sim-to-real verification are required.

原始信息汇总

数据集概述

• 名称：SO101 PickOrange Aligned 100
• 任务：LeIsaac-SO101-PickOrange-v0（SO101 机械臂抓取橙子任务）
• 机器人：so101_follower
• 数据格式：LeRobot Dataset v3
• 生成环境：LeIsaac / Isaac Lab 仿真

数据规模

• Episodes：100
• Frames：97,600
• FPS：30
• 数据划分：train 0:100（全部为训练数据）

数据维度

• 动作维度：6（六维关节动作）
• 状态维度：6（六维关节状态）

传感器与视觉

• 相机：front（前视）与 wrist（腕部）
• 图像尺寸：640 × 480
• 视频编码：AV1
• 图像字段：observation.images.front、observation.images.wrist

数据结构

text data/ 每帧状态、动作、时间戳和索引
meta/ 数据集说明、统计量、任务和 episode 元数据
videos/ front 与 wrist 两路相机视频

主要字段：

• observation.state：SO101 六维关节状态
• action：SO101 六维关节动作
• observation.images.front：前视相机图像
• observation.images.wrist：腕部相机图像
• timestamp、frame_index、episode_index、task_index

用途与限制

• 用途：具身智能、机器人模仿学习、LeRobot 数据处理教学（数据读取、可视化、质量检查、策略训练）
• 限制：仿真数据，不含真实机械臂的传感器噪声、动力学误差和安全约束；迁移至真机前需进行标定、安全限制和 sim-to-real 验证

相关项目

配套代码：《具身智能从入门到实践》笔记学习代码

搜集汇总

数据集介绍

构建方式

该数据集依托LeIsaac与Isaac Lab仿真平台，针对SO101机械臂构建PickOrange抓取任务，采用LeRobot Dataset v3标准格式组织。通过脚本化采集流程，在仿真环境中驱动so101_follower执行指定任务，逐帧记录六维关节状态与动作，并同步获取前视与腕部两路相机图像。所有episode均经过对齐处理，最终形成包含100条轨迹、97,600帧、30FPS的规范化数据集，数据划分全部纳入训练集。

特点

数据集以多模态同步观测为核心特征，融合本体状态、动作指令与双视角视觉信息，图像分辨率达640×480，视频编码采用AV1以兼顾质量与压缩效率。六维动作与状态空间简洁明确，适合模仿学习与策略训练。目录结构清晰分离数据、元信息与视频，元数据涵盖统计量、任务描述与episode索引，便于质量审查与可复现研究。

使用方法

使用者可基于LeRobot工具链直接加载数据集，读取observation.state、action及双路图像字段，开展可视化、数据质量检查与策略训练实验。通过episode_index与frame_index可精确定位轨迹片段，结合timestamp实现时序对齐。该数据适用于具身智能教学与模仿学习算法验证，但因来源于仿真环境，迁移至真实机械臂前需补充标定、安全约束与sim-to-real验证。

背景与挑战

背景概述

具身智能与机器人模仿学习的兴起，催生了对标准化、大规模仿真操作数据的迫切需求。SO101 PickOrange Aligned 100数据集由“宇哥的具身笔记”作者构建，依托LeIsaac与Isaac Lab仿真环境，于2024年前后发布，旨在为SO101六自由度机械臂的抓取橙子任务提供高质量示范轨迹。该数据集以LeRobot Dataset v3格式封装100条episode、九万余帧多模态观测，涵盖关节状态、动作及双路视觉信息。其核心研究问题在于降低模仿学习在真实机器人上的数据获取成本，并为《具身智能从入门到实践》教学体系提供可复现的基准，对具身智能教育及仿真到现实迁移研究具有示范意义。

当前挑战

抓取橙子看似简单，却要求机械臂在连续动作中协调六维关节、处理视觉遮挡与目标位姿变化，其领域挑战在于如何从高维视觉输入中学习鲁棒的操作策略。构建该数据集时，仿真环境虽规避了真实硬件的磨损与安全风险，却也引入了仿真器参数配置、相机标定一致性、动作对齐与时间同步等难题；100条示范轨迹的采集需保证任务成功与多样性，同时AV1视频编码与多模态元数据的组织对存储和读取效率提出要求。此外，仿真数据难以完全复现真实机械臂的传感器噪声、动力学误差和安全约束，直接迁移至真机前仍需标定与sim-to-real验证，这构成了数据集应用中的核心限制。

常用场景

经典使用场景

在具身智能与机器人模仿学习领域，基于仿真环境生成的大规模示教数据已成为策略训练的重要基础。SO101 PickOrange Aligned 100数据集正是在这一背景下构建的经典资源，其核心使用场景聚焦于机械臂抓取橙色物体的模仿学习实验。研究者通常利用该数据集中的100条成功演示轨迹，涵盖前视与腕部双视角视觉观测及六维关节状态与动作，训练端到端的视觉-动作策略模型。通过LeRobot框架，该数据集支持标准化的数据加载、时序对齐与批量训练，成为验证模仿学习算法在抓取任务中有效性的基准测试平台。

衍生相关工作

围绕该数据集，研究者已衍生出多项经典工作。基于LeRobot数据集格式，后续研究扩展了任务多样性，如增加不同颜色或形状的抓取目标，以评估策略泛化能力。配套的《具身智能从入门到实践》笔记学习代码推动了开源社区在仿真数据生成与策略训练方面的标准化实践。此外，该数据集启发了对sim-to-real迁移方法的探索，包括域随机化与自适应标定技术，为提升仿真训练模型在真实机械臂上的鲁棒性提供了重要参考。

数据集最近研究

最新研究方向

在具身智能与机器人模仿学习领域，基于仿真环境生成的大规模轨迹数据正成为推动策略泛化研究的关键基础设施。SO101 PickOrange Aligned 100数据集依托LeIsaac与Isaac Lab仿真平台，面向柑橘采摘这一典型精细操作任务，提供了100条涵盖前视与腕部双视角的高帧率演示轨迹，其LeRobot v3格式与模块化数据结构契合当前社区对标准化具身数据集的迫切需求。近期研究借助此类对齐仿真数据，重点探索视觉-动作联合表征学习、多相机时空融合以及仿真到现实的鲁棒迁移策略，尤其关注如何利用域随机化与对齐机制缩小视觉与动力学差异。该数据集亦为开源工具链的协同演进提供了可复现的基准，其影响延伸至农业机器人自动化、双臂协作以及数据质量评估等热点方向，为构建可扩展的具身学习范式奠定了实证基础。