PerfCam

PerfCam是一个开源的数字孪生框架，它结合了相机和传感数据、3D高斯散斑和计算机视觉模型，用于工业生产线中的数字孪生、物体跟踪和关键绩效指标(KPIs)提取。PerfCam使用3D重建和卷积神经网络(CNNs)，为物体跟踪和空间映射提供了一个半自动化的方法，能够捕获生产线中的实时KPIs，如可用性、性能、设备综合效率(OEE)和输送带速度。PerfCam通过在现实测试生产线中的实际部署来验证其有效性，并为支持该领域的进一步研究和开发贡献了一个公开发布的数据集。结果表明，PerfCam能够通过其精确的数字孪生能力提供可操作的见解，强调其在智能制造环境中开发实用数字孪生并提取运营分析的有效性。

PerfCam is an open-source digital twin framework that integrates camera and sensing data, 3D Gaussian Splatting, and computer vision models for digital twin creation, object tracking, and key performance indicator (KPI) extraction in industrial production lines. PerfCam employs 3D reconstruction and convolutional neural networks (CNNs) to provide a semi-automated approach for object tracking and spatial mapping, enabling real-time KPI capture in production lines, including availability, performance, Overall Equipment Effectiveness (OEE), and conveyor belt speed. PerfCam validates its efficacy through real-world deployment on a test production line, and contributes a publicly released dataset to support further research and development in this field. The results demonstrate that PerfCam can provide actionable insights via its precise digital twin capabilities, highlighting its effectiveness in developing practical digital twins and extracting operational analytics within smart manufacturing environments.

搜集汇总

数据集介绍

构建方式

PerfCam数据集的构建采用了多模态数据融合的方法，结合了3D高斯泼溅技术和计算机视觉模型。首先，通过安装在机械臂上的RGB-D摄像头从多个视角采集生产线的图像数据，同时记录振动、声音、温度等多维传感器数据。数据预处理阶段采用COLMAP进行运动恢复结构(SfM)和多视图立体(MVS)重建，生成稀疏点云后通过表面对齐高斯泼溅(SuGaR)方法优化为高保真3D模型。物体标注环节采用半自动化流程，结合人工标注和Roboflow Universe等辅助标注工具，最终形成包含512张增强图像的标注数据集，并划分为训练集、验证集和测试集。

特点

该数据集的核心特征体现在工业场景的数字化双生实现。其独特价值在于同步提供了3D空间重建数据与实时物体检测轨迹，包含194,448个重建点和1,475,929个高斯泼溅元素。数据集特别标注了传送带上的物体运动轨迹，可支持吞吐量、设备综合效率(OEE)等关键绩效指标的提取。多摄像头配置(最高1920×1080分辨率)确保了复杂工业环境下的数据完整性，而时间同步的传感器数据(加速度、角速度等)为多模态分析提供了可能。数据集还包含罕见工况的模拟场景，如产品密集排列等边缘案例。

使用方法

该数据集主要应用于工业数字双生系统的开发和验证。研究者可利用YOLOv11等模型在440张训练图像上微调物体检测算法，通过32张验证图像评估模型性能。3D重建数据支持Unity等平台构建可视化数字双生界面，而时间序列传感器数据可用于分析设备状态与生产指标的关联性。数据集特别适用于开发实时KPI监测系统，用户可通过轨迹分析计算传送带速度、停机时间等指标，并依据公式OEE=可用率×性能率×质量率评估产线效率。为保障研究可复现性，建议按照论文描述的26个相机位姿配置采集环境，并注意处理不同帧率摄像头的时序同步问题。

背景与挑战

背景概述

PerfCam是由KTH皇家理工学院与阿斯利康合作开发的开源数字孪生框架，发布于2025年4月。该数据集聚焦工业生产线场景，通过融合3D高斯泼溅技术与计算机视觉模型，实现实时物体追踪、空间映射及关键绩效指标（如设备综合效率OEE）的提取。其创新性在于利用现有摄像头系统降低传感器部署成本，并在制药行业测试线验证了技术可行性，为智能制造领域提供了首个结合3D重建与视觉分析的开源基准数据集。核心研究团队包括Michel Gokan Khan等跨学科专家，论文发表于计算机视觉顶会arXiv，推动了工业数字孪生从描述性模型向信息-预测混合模型的范式演进。

当前挑战

领域挑战方面，PerfCam需解决复杂工业场景下的动态物体精准追踪（如传送带高速运动物体）、多源异构传感器数据融合（振动/温度/视觉数据时空对齐）以及光照变化/遮挡条件下的3D重建精度问题。构建挑战包括：1) 有限计算资源下的实时高斯泼溅渲染优化，2) 小样本工业数据导致的YOLO模型泛化性不足（实验显示近距离物体检测误差达2-3%），3) 多摄像头系统标定与视场盲区消除（需26个相机位点实现完整覆盖），4) 工业环境严苛条件（金属反光/粉尘）对视觉数据的干扰。这些挑战凸显了工业级数字孪生从理论验证到实际部署的技术鸿沟。

常用场景

经典使用场景

PerfCam数据集在工业生产线数字孪生领域展现了卓越的应用价值，其核心场景聚焦于通过3D高斯泼溅技术和计算机视觉模型实现生产线的实时三维重建与关键性能指标（KPI）提取。该数据集支持对传送带速度、设备综合效率（OEE）及产品吞吐量等指标的动态监测，为制药等流程工业提供了半自动化对象追踪与空间映射的解决方案。通过多视角相机阵列与传感器数据融合，系统能够构建高保真数字孪生体，精准还原生产环境的几何与光电特性。

解决学术问题

该数据集有效解决了工业场景中三维重建精度不足、实时对象跟踪鲁棒性差、多模态数据融合困难等核心学术问题。其创新性地将3D高斯泼溅技术引入生产线建模，克服了传统运动恢复结构（SfM）方法在复杂光照与几何场景下的局限性。通过集成YOLO系列目标检测算法与ByteTrack多目标追踪框架，实现了遮挡场景下高达98.7%的检测准确率，为数字孪生领域提供了可扩展的视觉分析基准。数据集包含的同步传感器数据（振动、温度等）与视觉标注信息，为跨模态学习研究提供了珍贵资源。

衍生相关工作

基于PerfCam数据集已衍生出多项创新研究：Urgo等人开发了数字孪生驱动的合成数据生成框架，解决了工业检测模型训练数据匮乏问题；Wang团队提出基于3D高斯泼溅的相机位姿优化算法，提升了多视角重建精度；Chen等学者将其扩展至暖通空调系统监测，验证了跨领域迁移潜力。数据集还催生了多个改进型架构，如融合神经辐射场（NeRF）的混合重建模型，以及结合Transformer的异常检测系统，持续推动工业视觉领域的技术迭代。