ISC-Perception

ISC-Perception是一个混合计算机视觉数据集，专为ISC组件检测而设计。它结合了程序生成的CAD图像、游戏引擎中的照片级真实场景和有限的真实照片集，使合成部分的完全自动标注成为可能。该数据集旨在帮助ISC感知机器人识别、抓取和连接结构成员，以缩短起重机时间、降低事故率并减少熟练劳动力。ISC-Perception数据集包含了10000张图像，并使用了Unity-based pipeline进行自动标注，大大减少了人工标注的时间。数据集由来自SolidWorks Visualize的照片级真实图像、Unity中生成的合成图像和少量真实照片组成，涵盖了ISC组件检测所需的多种场景和光照条件。

ISC-Perception is a hybrid computer vision dataset specifically designed for ISC component detection. It combines programmatically generated CAD images, photorealistic scenes rendered in game engines, and a limited set of real-world photographs, enabling fully automatic annotation for the synthetic portion of the dataset. This dataset aims to help ISC perception robots identify, grasp, and connect structural members, so as to shorten crane operation time, reduce accident rates, and lower the demand for skilled labor. The ISC-Perception dataset contains 10,000 images and uses a Unity-based pipeline for automatic annotation, greatly reducing manual annotation time. The dataset consists of photorealistic images generated via SolidWorks Visualize, synthetic images created in Unity, and a small number of real-world photographs, covering various scenarios and lighting conditions required for ISC component detection.

原始信息汇总

ISC-Perception数据集概述

基本信息

• 标题: ISC-Perception: A Hybrid Computer Vision Dataset for Object Detection in Novel Steel Assembly
• arXiv ID: 2511.03098v1
• 提交日期: 2025年11月5日
• 学科分类: 计算机视觉与模式识别(cs.CV)、图像与视频处理(eess.IV)

作者列表

• Miftahur Rahman
• Samuel Adebayo
• Dorian A. Acevedo-Mejia
• David Hester
• Daniel McPolin
• Karen Rafferty
• Debra F. Laefer

数据集描述

研究背景

• 交织钢连接(ISC)系统与机器人操纵器配合使用，可加速钢框架组装并提高工人安全性
• 可靠的感知是ISC感知机器人的初始阶段之一
• 在活跃建筑工地收集照片存在物流困难、安全和隐私问题

数据集特点

• 首个专门为ISC组件检测设计的混合数据集
• 数据组成:
  • 程序化渲染的CAD图像
  • 游戏引擎照片级真实感场景
  • 有限、精选的真实照片集
• 标注优势: 合成部分支持全自动标注

效率优势

• 人工时间对比: 生成10,000张图像数据集仅需30.5小时，相比手动标注的166.7小时(60秒/图像)减少81.7%
• 手动标注基准: 包含5个ISC成员实例的代表性图像手动标注需60-80秒

性能表现

检测精度

• 训练效果: 在ISC-Perception上训练的检测器达到mAP@IoU 0.50为0.756
• 性能对比: 显著优于仅使用合成数据或照片级真实感数据训练的模型
• 基准测试: 在1,200帧测试集上达到mAP@0.50/mAP@[0.50:0.95]为0.943/0.823

可用性

• 用途: 促进建筑机器人感知领域定制对象检测器的快速开发
• 获取方式: 可免费用于研究和工业用途(需申请)

相关资源

• PDF文档: https://arxiv.org/pdf/2511.03098v1
• HTML版本: https://arxiv.org/html/2511.03098v1
• TeX源码: https://arxiv.org/format/2511.03098v1
• DOI: https://doi.org/10.48550/arXiv.2511.03098

搜集汇总

数据集介绍

构建方式

在建筑机器人领域，数据稀缺是制约感知系统发展的关键瓶颈。ISC-Perception数据集采用混合构建策略，融合了程序化生成的CAD图像、游戏引擎渲染的光照真实场景以及少量精心筛选的真实照片。通过Unity引擎的感知包实现合成图像的自动标注，大幅降低了人工标注成本，生成一万张图像仅需30.5小时人工时间，较传统手动标注节省81.7%的人力投入。

特点

该数据集涵盖交织钢连接系统的三大核心组件：ISC构件、连接板及施工人员，具备多模态数据融合的独特优势。其合成图像通过自定义随机化器实现了光照条件、物体位姿及背景纹理的动态变异，真实图像则经过亮度调整与旋转等预处理增强。数据分布呈现均衡性，训练集包含15,974张图像，测试集涵盖3,087张图像，确保了模型评估的鲁棒性。

使用方法

研究团队采用YOLOv8算法在Alienware m16工作站上进行模型训练，输入分辨率设置为640×640，最大训练轮次为250轮。通过分层抽样构建规模匹配的数据子集进行对照实验，验证了混合数据集的优越性。在包含1,200帧的基准测试中，模型达到0.943的mAP@0.50指标，显著优于纯合成或纯真实数据训练的模型表现。

背景与挑战

背景概述

ISC-Perception数据集于2025年由贝尔法斯特女王大学、纽约大学等机构联合推出，聚焦于建筑机器人领域中的钢结构装配自动化问题。该数据集针对新型互锁钢连接系统在动态施工环境下的感知需求，通过融合程序化渲染的CAD图像、游戏引擎生成的逼真场景及少量真实照片，构建了首个专用于ISC组件检测的混合数据集。其创新性在于显著降低了人工标注成本达81.7%，为机器人视觉系统在非结构化工地中的可靠识别提供了关键数据支撑，推动了智能建造与工业自动化的交叉研究进展。

当前挑战

在领域问题层面，ISC组件检测需应对钢结构在复杂光照、部分遮挡及反光涂层下的识别难题，其毫米级精度的卡扣结构对模型感知灵敏度提出极高要求。构建过程中，真实数据采集受限于施工现场的安全规范与隐私法规，且新型ISC系统尚未大规模应用导致真实样本稀缺。为此，研究团队通过开发Unity自定义随机化工具与SolidWorks可视化渲染相结合的策略，在保证材料表面光学特性真实性的同时，实现了多模态数据的自动标注与规模扩展，有效弥合了合成数据与真实场景间的域差异。

常用场景

经典使用场景

在建筑机器人技术领域，ISC-Perception数据集被广泛应用于钢构件装配过程中的目标检测任务。该数据集通过融合程序化渲染的CAD图像、游戏引擎生成的逼真场景以及少量精选的真实照片，为机器人视觉系统提供了丰富的训练样本，使其能够在动态光照和复杂遮挡条件下准确识别互锁钢连接系统的组件。

实际应用

在工业实践中，该数据集支撑的视觉系统已成功应用于钢框架自动化装配场景。通过多视角同步摄像头系统，机器人能够实时检测ISC连接板和结构构件，在1200帧基准测试中达到0.943的mAP@0.50精度，显著提升了装配效率并降低了高空作业风险。

衍生相关工作

基于该数据集衍生的研究推动了建筑机器人感知技术的创新，例如采用域随机化技术增强模型泛化能力的工作。相关成果为核设施、隧道等受限环境的机器人应用提供了可扩展方案，同时启发了结合生成式AI合成建筑场景数据的新方法论。