UR10e-LinearGripper-Jig-SimDist-Dataset

本数据集是UR10e线性夹爪机器人执行JigV2插入BottomEnclosure任务的仿真数据集，基于SimDist（Simulation Distillation）第二阶段程序生成，用于预训练潜在世界模型。数据生成过程通过采样动作噪声协方差、交替使用专家策略与次优检查点、以及注入连续扰动（包括对夹爪命令进行翻转）来模拟错误、恢复和失败轨迹，以提高规划器对专家分布外区域的覆盖能力。数据集包含多个HDF5分片文件，每个文件包含时间步序列字段：proprio（20维浮点数，包括夹爪动作、手臂动作、关节位置、末端执行器位姿和接触状态）、三视角RGB图像（前、侧、腕部，JPEG编码，质量90）、原始策略动作（7维浮点数）、奖励（浮点数）、专家价值函数（浮点数）、专家标志（布尔值，表示是否处于无扰动的专家轨迹）、环境ID和片段ID。观测不包含任何物体真实位姿信息，以迫使世界模型编码器学习非特权表示。数据集规模尚未确定，但方法对数据量高度敏感（论文中全规模成功率为0.90，50%规模为0.72，10%规模为0.06）。注意：专家策略训练时，由于记录器bug，ObjectPartiallyAssembledEEGrasped状态中仅约33%真正抓取了物体，该问题无法修复。数据集遵循MIT许可证。This dataset is a simulated dataset of UR10e linear gripper robot performing JigV2 insertion of BottomEnclosure task, generated by the second phase of SimDist (Simulation Distillation) program for pre-training latent world models. The data generation process simulates error, recovery, and failure trajectories by sampling action noise covariance, alternating between expert policies and suboptimal checkpoints, and injecting continuous perturbations (including flipping gripper commands) to improve the planners coverage of out-of-distribution regions of the expert. The dataset consists of multiple HDF5 shard files, each containing time-step sequence fields: proprio (20-dimensional float, including gripper action, arm action, joint positions, end-effector pose, and contact state), three-view RGB images (front, side, wrist, JPEG encoded, quality 90), raw policy action (7-dimensional float), reward (float), expert value function (float), expert flag (boolean indicating whether the trajectory is undisturbed expert), environment ID, and episode ID. Observations do not include any object ground truth pose information to force the world model encoder to learn non-privileged representations. The dataset size is not yet determined, but the method is highly sensitive to data volume (paper reports 0.90 success rate for full scale, 0.72 for 50% scale, 0.06 for 10% scale). Note: During expert policy training, due to a recorder bug, only about 33% of the ObjectPartiallyAssembledEEGrasped states actually have grasped objects; this issue cannot be fixed. The dataset is licensed under MIT.

原始信息汇总

UR10e Linear Gripper — Jig / Bottom Enclosure — SimDist Stage-2 数据集

数据集概述

这是一个用于机器人操作任务的动作条件仿真回放数据集，专为预训练潜在世界模型而设计。数据集由 Simulation Distillation (SimDist) 阶段2程序生成，相关论文发表于RSS 2026（arXiv:2603.15759），代码以MIT许可开源。

注意：当前数据集状态为占位符，生成尚未运行。

任务描述

• 操作任务：将 JigV2 插入件装配到 BottomEnclosure 接收件中
• 机器人平台：UR10e机械臂，配备定制线性双颚夹爪
• 仿真环境：IsaacLab模拟
• 控制频率：10 Hz
• 回合时长：16秒（160步）
• 动作空间：6维相对末端执行器姿态（笛卡尔OSC）+ 1维二进制夹爪命令

生成方法

数据集采用SimDist算法2生成，核心机制包括：

• 动作噪声协方差：每个环境采样对角动作噪声协方差
• 策略分配：每次重置时，环境以0.5概率分配给专家策略，否则分配给随机抽取的次优检查点
• 扰动注入：高斯动作扰动以U[1,5]步的连续片段注入，与U[5,10]步的干净片段交替
• 夹爪扰动：通过翻转开/关命令而非添加噪声来扰动二进制夹爪维度
• 数据覆盖目的：确保数据集包含错误、恢复和失败样本，而非仅包含干净的专家轨迹（论文消融实验显示仅用专家数据会使成功率从0.90降至0.10）

数据内容

每个数据分片包含一个HDF5文件，所有数组共享前导时间步轴：

字段	类型	说明
proprio	float32 (N, 20)	上次夹爪动作(1)、上次手臂动作(6)、手臂关节位置(6)、末端执行器姿态(6)、二进制接触(1)
front_rgb, side_rgb, wrist_rgb	vlen uint8 (N,)	JPEG编码图像，质量90
actions	float32 (N, 7)	原始策略输出（动作缩放之前）
rewards	float32 (N,)	奖励值
values	float32 (N,)	专家评论家的V(s)值（始终使用最终检查点）
expert_flags	bool (N,)	仅在专家策略且动作未受扰动时为真
env_ids, episode_ids	int32 (N,)	回合边界标记

设计要点

• 观测非特权：观测字段中不包含任何地面真值物体位姿，防止世界模型编码器直接读取物体位姿
• 特权状态使用：仅用于奖励计算和评论家网络
• 图像存储：采用JPEG编码而非原始格式，224像素分辨率下每步约30,714字节（原始格式为451,584字节/步，float32表示则为1.8 MB/步）

已知限制

1. 数据规模敏感性：方法对数据集规模高度敏感（论文表I：完整规模成功率0.90，50%规模为0.72，10%规模仅为0.06）
2. 专家训练缺陷：专家策略训练时使用的重置混合中，ObjectPartiallyAssembledEEGrasped仅有约33%真正持握物体（由已修复的记录器错误导致），该问题无法追溯修复，已如实记录

关联资源

• 专家策略、检查点阶梯和值函数来自：UR10e-LinearGripper-Jig-BottomEnclosure-Stage1
• 重置状态来自：UR10e-LinearGripper-Jig-BottomEnclosure-Resets

许可协议

MIT许可证（遵循上游SimDist项目的许可）。

搜集汇总

数据集介绍

构建方式

该数据集基于SimDist算法第二阶段的流程构建，旨在为潜在世界模型的预训练提供动作条件模拟展开数据。在模拟环境IsaacLab中，UR10e机械臂配备自定义线性双爪夹持器，执行JigV2插入BottomEnclosure的任务。构建过程中，每个环境采样对角线动作噪声协方差，并以0.5的概率将环境重置为专家策略，否则采用均匀抽取的次优检查点。高斯动作扰动以连续突发形式注入，突发长度在1至5步之间，穿插5至10步的清洁区间。对于二值夹爪指令，通过翻转开合命令而非叠加噪声进行扰动。数据覆盖了专家轨迹、次优策略及带有错误、恢复和失败场景的扰动轨迹，以增强策略搜索的覆盖范围。

特点

数据集以HDF5格式分片存储，包含多模态观测：本体感觉数据（20维，涵盖夹爪动作、手臂动作、关节位置、末端执行器位姿及接触状态）、三个视角的JPEG编码图像（前视、侧视、腕部），以及原始策略动作（7维）、奖励、价值函数和专家标志。观测刻意不包含物体真实位姿等特权信息，以避免世界模型编码器直接读取物体状态，仅奖励和评论家使用特权模拟状态。图像采用JPEG压缩以大幅节省存储空间，相比原始uint8格式每步占用减少约15倍。数据集还记录了重置状态和专家策略来源，为后续研究提供完整参照。

使用方法

该数据集适用于训练潜在世界模型，特别是采用SimDist方法进行模拟蒸馏的场景。使用者可加载HDF5文件，按时间步提取观测、动作和奖励序列，用于监督学习或自监督预训练。数据集包含专家和非专家轨迹，可用于评估模型在不同策略分布下的泛化能力。由于存在扰动和失败样本，模型可学习到鲁棒的状态转移和奖励预测。数据集的episode_ids和env_ids字段便于区分不同片段和环境，可用于构造时序关联任务。代码和算法细节参考SimDist仓库，支持在PyTorch等框架中实现数据加载和模型训练流程。

背景与挑战

背景概述

该数据集由RubetekRobotics与CLeARoboticsLab联合创建，基于Simulation Distillation（SimDist）算法（arXiv:2603.15759，RSS 2026）生成，用于机器人操作任务的潜在世界模型预训练。其核心研究问题在于通过模拟仿真数据，解决机器人精细装配任务（如将JigV2插入BottomEnclosure）中的状态覆盖不足问题。数据集提供了UR10e机械臂搭配线性两指夹爪的16秒、10Hz控制轨迹，包含多视角图像、本体感觉、动作、奖励及专家标注，为非特权观测（无物体真实位姿）设计，旨在促进sim2real迁移。该数据集对机器人学习领域具有影响力，推动了基于世界模型的策略学习在复杂操作任务中的发展。

当前挑战

该领域的主要挑战在于实现机器人精细装配的泛化能力，传统专家示范数据缺乏多样性与错误样本，导致策略在分布外搜索时性能急剧下降（实验显示仅专家数据将成功率从0.90降至0.10）。为此，数据构建需引入动作扰动（如突发噪声、夹爪指令翻转）以覆盖失败与恢复轨迹，但如何平衡噪声强度与任务可学性成为难点。此外，数据规模对方法性能极为敏感（10%规模下成功率仅0.06），而生成高质量数据需大量模拟资源；同时，观测设计避免使用物体真实位姿，以防世界模型隐式读取特权信息，增加了数据表征难度。最后，数据生成流程中曾出现记录器错误，导致部分状态标注不准确，体现了复杂数据集构建中的工程挑战。

常用场景

经典使用场景

该数据集专为机器人操作领域的潜在世界模型预训练而设计，其核心场景在于利用动作条件下的模拟展开轨迹，训练模型以预测环境动态。数据源自UR10e机械臂在IsaacLab仿真中的精密插接任务，涵盖了6维相对末端执行器位姿与二指夹爪控制指令，为世界模型的视觉-运动联合表征学习提供了丰富的多模态观测序列，包括多视角RGB图像、本体感觉及动作信息。

衍生相关工作

该数据集衍生了一系列相关工作，包括基于世界模型的模型预测控制（MPC）方法、Sim2Real迁移策略研究，以及机器人操作中的探索与利用平衡算法。其生成流程SimDist已被用于改进模仿学习中的数据增强策略，相关成果在机器人顶级会议（如RSS）上发表，推动了仿真数据蒸馏技术在复杂操作任务中的标准化与实证评估。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作领域中的世界模型预训练与仿真到现实迁移，通过SimDist第二阶段的动作条件仿真回放，生成包含专家轨迹、扰动与失败恢复的多样化状态-动作序列，以提升规划器在专家分布之外的覆盖能力，从而增强策略的鲁棒性与泛化性能。其前沿方向在于利用非特权观测（如多视角RGB图像与本体感觉）训练潜在世界模型，规避物体位姿的直接读取，推动端到端学习在精密装配任务中的应用，并对数据规模与混合策略的敏感性进行系统消融，为构建高保真、可扩展的机器人学习基准奠定基础。