PRISM

PRISM（Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing）是由北京大学等机构联合创建的大规模多模态数据集，专注于高精度、接触密集的工业操作场景。该数据集包含超过5000条机器人轨迹（总计45小时遥操作演示），同步采集多视角RGB-D、六轴力/力矩、触觉及机器人状态等模态数据，涉及25种以上操作任务（如电子元件插拔、传送带分拣等）。数据通过外骨骼、追踪器和VR三种遥操作方式收集，覆盖多种机器人平台和末端执行器，并引入人为扰动以增强鲁棒性。PRISM旨在为学习接触密集、长时程的工业操作提供高保真基准，推动多模态感知与控制策略在真实制造环境中的泛化应用。PRISM (Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing) is a large-scale multimodal dataset jointly developed by Peking University and other research institutions, focusing on high-precision, contact-intensive industrial manipulation scenarios. This dataset contains over 5,000 robot trajectories, with a total of 45 hours of teleoperation demonstrations, and synchronously acquires multimodal data including multi-view RGB-D, six-axis force/torque, tactile sensing, and robot state information. It covers more than 25 types of manipulation tasks, such as electronic component insertion and extraction, conveyor belt sorting, and other typical industrial operations. The data is collected via three teleoperation modalities: exoskeleton, tracking device, and VR, and covers diverse robot platforms and end-effectors. Human-induced perturbations are incorporated into the dataset to enhance its robustness. PRISM aims to provide a high-fidelity benchmark for learning contact-intensive, long-duration industrial manipulation tasks, and to facilitate the generalized deployment of multimodal perception and control strategies in real-world manufacturing environments.

原始信息汇总

PRISM 数据集详情总结

数据集概述

PRISM（Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing）是一个面向接触丰富型真实工业操作的大规模多模态数据集，由北京大学等多家机构联合发布。该数据集旨在弥补现有机器人学习数据集在短视域、低接触任务（如抓取放置）方面的不足，重点关注工业装配所需的精密度控制、力/力矩或触觉调节以及多模态反馈。

数据规模

• 工业任务：25+ 项，涵盖电子元件插拔、传送带分拣等操作
• 机器人轨迹：5,000+ 条，并配有对应的人类示范
• 数据总时长：45+ 小时
• 图像数据：约 2,700 万张
• 感知模态：多视角 RGB-D 视觉、6自由度力/力矩传感、触觉传感、本体感知

数据采集平台

数据集通过三种互补的遥操作界面采集数据：

• 外骨骼控制
• 追踪器控制
• VR 控制

这些平台引入了不同的人类控制风格，降低了单一采集设置的偏差。每个轨迹均记录了机器人状态、多视角 RGB-D 图像、力/力矩测量、触觉观测、夹爪状态及时间戳，以实现多模态对齐。

数据特点

• 覆盖多机器人形态、多视角观测、多模态传感流及多样化工业技能
• 每个轨迹同步记录视觉、触觉、力/力矩和本体感知信号
• 专门针对高精度工业操作中的接触、力调节和多模态反馈需求设计
• 适用于多模态感知与控制研究，为接触丰富型、可泛化的真实制造环境操作提供基础

发布信息

• 论文已提交至 arXiv（编号：2608.17962）
• 数据集即将发布

引用格式： bibtex @misc{yu2026prismprecisioncontactrichrealworld, title={PRISM: Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing}, author={Tengbo Yu and Jiahao Wu and Hanning Wang and Rui Chen and Chuanhou Liu and Chuang Sun and Hangxin Liu}, year={2026}, eprint={2608.17962}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2608.17962}, }

搜集汇总

数据集介绍

构建方式

PRISM数据集面向工业接触丰富的操作场景，通过多平台遥操作方式构建。数据采集涵盖三种遥操作平台：外骨骼、追踪器和VR系统，分别基于Realman双臂、Franka双臂及LEJU上身人形机器人。每条轨迹记录同步的多视角RGB-D图像、六轴力/力矩、关节力矩及本体感受信息，部分片段配备视觉触觉传感器。数据由8名志愿者经过标准化培训后采集，包含超过5,000条机器人轨迹及同等数量的人类演示，总计45小时，覆盖25种以上任务，并包括有意的扰动片段以增强鲁棒性。所有数据经过时间戳对齐、校准和统一格式化，确保多模态数据的一致性。

特点

PRISM数据集具有高精度、多模态、大规模及组合性特点。它专注于接触丰富的工业操作，如电子元件插拔和传送带分拣，涵盖严格的机械约束。数据集包含5,000多条轨迹，总计27百万张图像，支持多模态学习。传感器数据以高频率（如力/力矩100 Hz）同步记录，提供精细的接触信息。此外，任务结构具有组合性，可分解为子任务，便于分层学习。数据采集自多种机器人平台和末端执行器，涵盖不同遥操作方式，增强了数据的多样性，为泛化研究提供了基础。

使用方法

PRISM数据集适用于训练和评估多模态模仿学习算法。使用者可将轨迹转换为标准格式（如LeRobot）进行预训练和微调。数据集支持视觉、力觉、触觉等模态的联合建模，可用于研究接触丰富的操控策略。通过组合性子任务拆分，可进行分阶段训练和泛化评估。实验设计建议使用统一协议，比较不同策略（如ACT、扩散策略、π0）的性能。数据集还提供校准参数和元数据，便于实现跨平台迁移和评测。

背景与挑战

背景概述

PRISM数据集由北京大学、Delta Intelligence等机构的研究人员于2026年推出，旨在填补现有机器人学习数据集在工业高精度接触丰富操作方面的空白。该数据集聚焦于电子元件插拔、传送带分拣等25项任务，涵盖超过5000条遥操作轨迹，总时长45小时，并同步采集多视角RGB-D、力/力矩、触觉及机器人状态等多模态数据。其核心研究问题在于如何利用多模态感知与大规模数据，推动接触丰富、可泛化的工业操作技能学习，为智能制造中的精细装配提供坚实基准。PRISM的发布，为机器人学习领域提供了首个兼具工业现实性、多模态同步与规模化多样性的开源数据集，对促进相关研究具有里程碑意义。

当前挑战

PRISM数据集面对的挑战集中在两大方面：其一，工业装配任务对精度与接触控制要求极高，微小错位、摩擦粘滞等细微状态难以仅凭视觉辨识，需要力觉、触觉等多模态信号融合，而现有策略在动态操作与力觉调节方面表现不足，成功率受限；其二，数据构建过程复杂，需协调多机器人平台、多种遥操作接口与高精度传感器，确保时间同步、空间标定及跨平台数据一致性，同时兼顾数据规模与质量，对采集与处理流程提出严苛要求。

常用场景

经典使用场景

PRISM数据集的核心应用在于推动接触丰富型工业操作的学习与泛化研究。该数据集提供了超过5000条遥操作轨迹，涵盖电子元件插拔、传送带分拣等25种任务，并同步记录多视角RGB-D图像、六维力/力矩、触觉及机器人状态等多模态信息。研究者可借助这一高保真度的数据资源，训练和评估模仿学习策略在精密装配场景下的表现，探索多模态感知与控制融合的有效途径。其典型使用场景包括利用大规模预训练与任务微调的两阶段训练流程，验证模型在接触丰富操作中的泛化能力，以及分析遥操作方式对数据质量及下游策略性能的影响。

衍生相关工作

PRISM数据集的发布催生了一系列衍生研究工作。在模仿学习领域，研究者利用该数据集对比分析了ACT、扩散策略（DP）和π0等基准模型在接触丰富任务上的性能差异，揭示了现有策略在动态物体处置与精密力控方面的不足。在数据采集方法研究方面，围绕遥操作方式（如外骨骼、跟踪器、虚拟现实）对演示质量与下游策略的影响展开了深入探讨。此外，该数据集也促进了多模态融合技术的进步，包括视觉-力觉-触觉信号的联合表征学习、接触状态估计以及闭环力控策略的设计。这些衍生工作不仅验证了PRISM的实用价值，也为其后续扩展和算法优化指明了方向，推动了接触丰富操纵领域的持续发展。

数据集最近研究

最新研究方向

PRISM数据集聚焦于高精度、接触丰富的工业操作场景，其最新研究方向主要集中在利用多模态感知数据（包括RGB-D视觉、六轴力/力矩、触觉及本体感觉）训练和评估能够应对紧密公差与持续接触的机器人操作策略。该数据集通过涵盖超过25种任务、5000余条遥操作轨迹以及多种机器人平台和末端执行器，推动了从短时程、低接触的简单操作向长时程、接触密集的工业装配任务的范式转变。当前研究重点包括：探索大规模预训练对接触丰富策略泛化能力的影响、比较不同遥操作接口（如外骨骼、追踪器和VR）对演示质量及下游学习性能的效应，以及验证现有模仿学习模型（如ACT、扩散策略和π0）在动态物体操纵和力敏感精密操作中的局限性。PRISM为工业环境下的多模态感知与控制提供了一个高保真基准，有望促进接触状态估计、闭环力/触觉调控及多模态融合等前沿技术的发展。

相关研究论文

• PRISM: Precision and contact-rich Real-world Industrial Skill dataset with Multimodal sensing

  北京大学·通用人工智能国家重点实验室; 台达智能; 北京大学武汉人工智能研究院; 湖北人形机器人创新中心有限公司; 中国信息通信研究院 · 2026年