so101-sim-pickplace-dr2
收藏资源简介：
该数据集包含210个成功片段（共23,310帧），展示了在MuJoCo模拟环境下，使用SO-ARM100机器人进行拾取放置任务的全域随机化演示，并针对评估识别的失败区域进行了目标覆盖。任务以语言标注：拾取红色方块并将其放入蓝色托盘中。。数据集旨在弥补之前模型在特定近场区域（x∈[-0.036,-0.011], y∈[-0.209,-0.198]）的失败覆盖漏洞，通过采样该区域约30%的片段和剩余70%来自整个工作区，所有片段均在每次重置时应用相同的视觉和物理随机化（如光照、颜色、摄像头抖动、方块质量×0.5–2、摩擦力×0.7–1.4、伺服增益）。所有片段均为专家成功演示，无丢弃记录。数据集格式包括15 fps、两个RGB摄像头（前视和腕部视角，224x224分辨率）、6维关节位置状态和动作集点，使用LeRobotDataset v3.0代码库。
This dataset contains 210 successful segments (totaling 23,310 frames) showcasing globally randomized demonstrations of pick-and-place tasks using the SO-ARM100 robot in the MuJoCo simulation environment, with targeted coverage for failure regions identified during evaluation. The task is annotated with language: Pick up the red cube and place it in the blue tray.. The dataset aims to address coverage gaps in previous models that failed in specific near-field regions (x∈[-0.036,-0.011], y∈[-0.209,-0.198]), by sampling approximately 30% of segments from this region and the remaining 70% from the entire workspace. All segments apply the same visual and physical randomization at each reset (e.g., lighting, color, camera jitter, cube mass ×0.5–2, friction ×0.7–1.4, servo gain). All segments are expert successful demonstrations with no dropped records. The dataset format includes 15 fps, two RGB cameras (front and wrist views, 224x224 resolution), 6-dimensional joint position states, and action setpoints, using the LeRobotDataset v3.0 codebase.
数据集概述
- 数据集名称:
so101-sim-pickplace-dr2 - 许可证: Apache-2.0
- 数据集大小: 10K < n < 100K
- 任务: 机器人操作（Pick-and-Place）
- 语言标签: "Pick up the red block and place it in the blue tray."
数据集规模与构成
- 总演示数: 210 个成功演示（episodes）
- 总帧数: 23,310 帧
- 帧率: 15 fps
- 摄像头: 两个 RGB 摄像头（前视和腕部）
数据采集背景与目的
该数据集是为了修补先前训练的模型 [act-so101-pickplace-dr] 在评估中发现的特定失败区域（近场区域）而创建的。该区域位于最终块位置 x∈[−0.036,−0.011], y∈[−0.209,−0.198] 的范围内；实验证实该区域不是任务难度问题，而是数据覆盖不足。因此，该数据集从该缺陷区域采样了约 30% 的演示，剩余约 70% 来自整个工作空间。
数据格式
| 项目 | 说明 |
|---|---|
| 代码库 | LeRobotDataset v3.0（LeRobot 0.6.0） |
| observation.state | 6 维关节位置（Rotation, Pitch, Elbow, Wrist_Pitch, Wrist_Roll, Jaw） |
| action | 6 维关节位置设定点 |
| observation.images.front / .wrist | 224x224 RGB 视频（AV1 编码） |
随机化（Domain Randomization）
所有演示在每次重置时，均应用视觉与物理随机化，包括：
- 光照 / 颜色 / 相机抖动
- 块质量：×0.5–2
- 摩擦力：×0.7–1.4
- 伺服增益随机化
使用示例
python from lerobot.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("ahmedsohail2003/so101-sim-pickplace-dr2")
在 Windows 上可添加: video_backend="pyav"
实验结果（已知的负结果）
使用该数据集重新训练的模型（act-so101-pickplace-dr2，75k 步骤）在 50 次评估中获得 44/50（88%） 的分数，相比之下原始 ACT-DR 模型获得 45/50（90%）。具体表现：
- 成功关闭了目标近场缺陷区域：在固定 spawn 网格上得分为 12/12（ACT-DR 为 5/12）
- 但引入了新的远距离失败区域：在 r ≥ 0.259 m 处得分为 0/8（ACT-DR 为 12/12）
这证实了在固定步骤预算内，过度采样会导致精度重新分配，而非增加整体精度。
数据集家族
| 数据集 | 演示数 | 目的 |
|---|---|---|
so101-sim-pickplace |
100 | 名义基线 |
so101-sim-pickplace-v2 |
160 | + 恢复演示 |
so101-sim-pickplace-dr |
150 | 域随机化（ACT-DR: 90%） |
| so101-sim-pickplace-dr2 | 210 | DR + 缺陷区域过采样（净得分 88%） |
数据来源与许可证
- 数据来源: 基于脚本的专家演示（成功过滤）
- 机器人模型: 来自 MuJoCo Menagerie 的
trs_so_arm100（Apache-2.0） - 数据集许可证: Apache-2.0
