UNISON-Sim

UNISON-Sim是一个大规模灵巧手-物体交互原始仿真数据集，记录了完整的抓握过程，包含同步的视觉观测和物理手部状态。每个过程覆盖手部接近、接触形成、物体提起与保持及放回等多个交互阶段。数据提供每个时间步的RGB观测、34维紧凑型关节手部姿态、覆盖162个手部表面触觉单元的二进制接触状态和连续压力值，以及物体属性和交互上下文（当可用时）。数据集基于BODex提供的灵巧抓握轨迹在MuJoCo物理仿真器中重放并拓展构建，包括轨迹回放、过程拓展、物理验证、触觉状态提取、视觉渲染和同步导出。数据规模包含45,124个保留的完整交互过程，源自583,305个候选过程，涉及2,356个物体实例和15个物体类别（如瓶子、罐子、杯子、碗等）。模态丰富，可能包含多视角RGB观测、紧凑型关节手部状态、触觉单元级的二进制接触和连续压力、物体类别与材质、质量、尺寸、摩擦、几何形状以及文本交互描述，所有状态模态在单个过程中时间对齐。该数据集旨在支持手-物体交互理解、灵巧抓握分析、手部姿态恢复、手部接触估计、基于视觉的压力估计、统一手部状态建模、时域交互建模、从视觉观测进行触觉推断以及手部交互模型的仿真到真实迁移等研究方向，用户可基于下游任务自行构建样本、时序片段和数据集划分。UNISON-Sim is a large-scale raw simulation dataset for dexterous hand-object interactions. This dataset records complete grasping processes, including synchronized visual observations and physical hand states. Each process covers multiple stages of interaction, including hand approaching, contact formation, object lifting and holding, as well as object placing back. At each recorded timestep, the dataset provides: RGB observations of hand-object interactions, 34-dimensional compact joint hand poses, binary contact states covering 162 hand surface tactile units, pressure values corresponding to the same 162 tactile units, and (when available) object attributes and interaction contexts. The dataset is constructed by replaying and expanding the dexterous grasping trajectories provided by BODex in the MuJoCo physics simulator. The construction process includes trajectory playback, process expansion, physical verification, tactile state extraction, visual rendering, and synchronized export. In terms of data scale, it contains 45,124 retained complete interaction processes derived from 583,305 candidate processes, involving 2,356 object instances and 15 object categories (such as bottles, jars, cups, bowls, etc.). The dataset has rich modalities, which may include multi-view RGB observations, compact joint hand states, binary contact and continuous pressure at the tactile unit level, object categories and materials, mass, size, friction, geometry, as well as textual interaction descriptions. All state modalities are temporally aligned within a single process. This dataset aims to support research directions including hand-object interaction understanding, dexterous grasping analysis, hand pose recovery, hand contact estimation, vision-based pressure estimation, unified hand state modeling, temporal interaction modeling, tactile inference from visual observations, and simulation-to-real transfer of hand interaction models. Users can construct samples, temporal segments and dataset splits according to downstream tasks on their own.

原始信息汇总

数据集概述

UNISON-Sim 是一个大规模、原始的灵巧手-物体交互仿真数据集，专注于记录完整的抓取操作过程。

数据规模

• 候选抓取片段: 583,305
• 保留的完整片段: 45,124
• 物体实例: 2,356
• 物体类别: 15（包括瓶子、罐子、杯子、碗等常见可抓取物体）
• 接触点（Taxels）: 162
• 压力点（Taxels）: 162

数据模态

每个时间步记录的数据包括：

• 多视角RGB图像: 从不同视角渲染的手-物体交互观测
• 手部姿态: 34维紧凑型关节手部姿态
• 二值接触状态: 覆盖162个手部表面触点的接触信息
• 连续压力值: 对应162个触点的压力数值
• 物体属性与交互上下文: 包括类别、材料、质量、尺寸、摩擦力、几何形状及文本描述（如有）

所有模态在时间上严格对齐。

数据集构建流程

1. 轨迹回放: 在MuJoCo物理仿真器中回放由BODex提供的灵巧抓取轨迹。
2. 片段扩展: 为成功抓取序列添加保持和返回动作，形成涵盖接近、接触、承重和返回的完整交互过程。
3. 物理验证: 仅保留满足物理有效性和数据完整性检查的片段。
4. 触觉状态提取: 将仿真接触力映射至Shadow Hand表面的162个虚拟触点，形成一致的接触与压力表示。
5. 视觉渲染: 从多个视角渲染RGB图像，变化相机位置、物体外观、纹理和光照，保持底层物理状态不变。
6. 同步导出: 在同一时间线上同步输出RGB观测、手部姿态、接触、压力及物体上下文数据。

仓库结构

unison_sim/ ├── tar_shards/ # 完整数据集的压缩分片 └── objects/ # 示例数据子集，用于快速检查数据结构

• tar_shards/: 包含完整数据集的压缩存档分片，需下载并解压。
• objects/: 仅包含少量示例数据，用于查看数据格式，非完整数据集。

预期用途

• 手-物体交互理解
• 灵巧抓取分析
• 手部姿态恢复
• 手部接触估计
• 基于视觉的压力估计
• 统一手部状态建模
• 时序交互建模
• 从视觉观测推断触觉
• 手部交互模型的虚拟到现实迁移

也可用于构建自定义训练样本、时间片段、相机视图子集及任务特定的数据分区。

局限性

数据集基于物理仿真器生成，使用机器人手部（Shadow Hand）进行交互。尽管渲染过程引入了视角、外观、纹理和光照的变化，但仿真数据与真实人类手部交互之间仍存在视觉和具身性差异。基于此数据集训练的模型可能需要领域自适应或额外的真实世界数据才能应用于自然视频。

搜集汇总

数据集介绍

构建方式

UNISON-Sim数据集基于BODex提供的灵巧抓取轨迹构建而成。原始轨迹记录了配备Shadow Hand的UR10e机械臂在不同物体属性下的手-臂逐步构型，这些轨迹在MuJoCo物理仿真器中重放并扩展为完整的交互片段。构建流程包括：在仿真环境中重放抓取轨迹，通过附加保持与返回运动将成功抓取序列延伸至完整片段；依据物理有效性与数据完整性对片段进行筛选；将接触力分配至覆盖Shadow Hand表面的162个虚拟触觉单元，以一致的手部拓扑结构表征接触与压力状态；从多个视角渲染RGB观测图像，并在保持底层物理交互状态的同时随机化相机位置、物体外观与光照条件；最终将RGB观测、手部姿态、接触、压力及物体背景信息在同一时间线上同步导出，形成跨模态对齐的高保真交互数据集。

特点

UNISON-Sim的核心特点在于其大规模、多模态且时间同步的数据结构。数据集包含45,124个完整的灵巧交互片段，覆盖2,356个物体实例及15种常见可抓握物体类别，规模远超同类仿真数据集。每个时间步均提供多视角RGB图像、34维紧凑手部姿态、162个表面的二值接触状态与连续压力值，以及可选的物体属性与交互文本描述，实现了视觉、物理与触觉信息的深度融合。所有模态在时间轴上严格对齐，支持从单帧到完整交互片段的灵活分析与建模。此外，数据集保留了原始生成片段而非预设训练-测试划分，赋予研究者按下游任务构建时间裁剪、样本重采样与视角子集的自主权，显著提升了数据的可定制性与通用性。

使用方法

UNISON-Sim适用于手-物交互理解、灵巧抓取分析、手部姿态恢复、接触估计、视觉驱动的压力预测及统一手部状态建模等研究场景。使用者可直接从`unison_sim/tar_shards/`下载完整压缩分片并解压以获取全量数据，也可通过`unison_sim/objects/`中的示例子集快速熟悉文件结构与内容格式。由于数据集以未分割的原始片段形式提供，研究者需根据任务需求自行构建时间裁剪（如提取接触形成与负载阶段）、定义样本划分（如按物体类别或片段长度分组）以及选择相机视角子集。对于从视觉推断触觉或跨域适应等任务，建议结合领域自适应技术以弥合仿真与真实用户视频之间的视觉形态差距，从而最大化利用该数据集在仿真环境中可控变体与多模态同步的优势。

背景与挑战

背景概述

灵巧手-物体交互理解是具身智能与机器人操作领域的核心议题，其研究长期受制于真实数据采集的高昂成本与标注复杂度。UNISON-Sim数据集由研究团队于2024年基于BODex灵巧抓取轨迹构建，依托MuJoCo物理仿真引擎，重放并延拓了UR10e机械臂搭载Shadow Hand的完整交互时序。该数据集囊括45,124段涵盖接近、接触形成、承载抬升与物体归位的完整抓取片段，同步提供多视角RGB观测、34维手部姿态、162个表面触觉单元的接触状态与压力值，并辅以物体属性与交互文本描述。其规模与多模态对齐特性为灵巧抓取分析、手部姿态恢复、接触估计及视触觉融合等研究方向奠定了坚实基础，显著推动了仿真驱动的灵巧操作研究范式发展。

当前挑战

该数据集所应对的领域挑战在于灵巧手交互中物理真实性与视觉可扩展性的矛盾——真实场景中手部自遮挡、多模态信号异步及标签获取困难长期制约模型泛化能力。构建过程中需克服三重技术障碍：其一，将BODex轨迹在MuJoCo中重放时需保证接触动力学一致性，仅59,124段通过物理有效性校验，原始轨迹的噪声与失稳状态导致大规模数据过滤；其二，针对162个Shadow Hand虚拟触觉单元，需建立从仿真接触力到连续压力值的可靠映射，同时维持手部表面拓扑的语义对应关系；其三，视觉渲染环节需在保持物理交互状态不变的前提下，系统化变化视角、光照与物体纹理，以缓解仿真与现实之间的视觉域差，为后续的域适应方法提供可控的变异性基准。

常用场景

经典使用场景

UNISON-Sim数据集为灵巧手-物体交互研究提供了大规模仿真数据资源。该数据集记录了完整的抓取过程，包含手部接近、接触形成、物体提升与持握、以及物体放回等多个阶段，每个时间步同步提供多视角RGB图像、34维手部姿态、162个触觉单元的接触状态与压力值，以及物体属性信息。这种多模态时序数据的组织方式，使其成为手物交互理解、灵巧抓取分析、手部姿态恢复、基于视觉的压力估计以及统一手部状态建模等经典研究任务的理想训练与评测基准。

实际应用

在机器人灵巧操作领域，该数据集可服务于自主抓取系统的视觉-触觉融合感知模块开发，帮助机器人从视觉输入中实时估计手部接触区域和力分布。通过结合数据集提供的多视角渲染图像与触觉标注，可以在仿真环境中训练基于视觉的触觉推断模型，进而通过迁移学习方法应用于现实机器人平台。此外，数据集所包含的多样化物体类别与属性，为物流分拣、精密装配等工业场景中的自适应抓取策略学习提供了丰富的训练素材。

衍生相关工作

围绕UNISON-Sim数据集，研究者可以衍生出一系列具有影响力的学术工作方向。在抓取姿态预测方面，可基于该数据集的时序片段训练从单视图像到灵巧手姿态的端到端回归模型，并借助其物理有效性验证机制确保生成姿态的可执行性。在触觉推断领域，多模态对齐特性使得有监督的视觉-触觉关联学习成为可能，推动触觉信息从仿真到现实的预测模型构建。同时，该数据集的跨视角观测能力为多视图融合策略、光照与纹理鲁棒性研究提供了实验基础，有望催生面向非结构化环境的通用手物交互感知框架。