IC_SHM_Expert_2

IC-SHM Expert 2 Public Augmentation是一个用于结构健康监测（SHM）领域视觉问答（VQA）和图像到文本任务的数据增强子集。该数据集旨在通过公共图像数据增强原始IC-SHM Expert 2竞赛的训练数据，专门针对混凝土损伤中的稀缺类别：裂缝（concrete_crack）和风化（efflorescence）。数据集包含250张精选公共图像（其中裂缝50张，风化200张），每张图像对应两条描述记录：一条分类式问答记录和一条损伤描述记录，共计500条记录。数据来源于三个公开真实图像数据集：CODEBRIM（提供裂缝和风化候选图像，非商业用途）、MCDS（提供风化候选图像，CC BY 4.0许可）和NCCD-PF（提供混凝土裂缝候选图像），使用者需遵守各源数据集的许可和归属要求。描述通过Qwen/Qwen3-VL-8B-Instruct模型使用类别特定提示生成，以匹配原始竞赛描述风格，为机器生成标注，建议在使用前进行人工审查。数据集仅用于训练增强，原始竞赛的验证集（57张）和测试集（57张）保持不变；增强后训练集包含原始458张图像和新增250张公共图像，共708张唯一图像。文件结构包括图像文件夹、描述JSON文件、清单JSONL文件（记录来源、哈希、标签和生成描述）、统计摘要JSON文件以及LoRA适配器权重。该数据集适用于结构健康监测、混凝土损伤检测、视觉问答和图像描述生成等任务，但需注意其局限性：描述为模型生成可能存在视觉不准确性、仅覆盖裂缝和风化两类、风化类测试支持有限，且不应作为独立基准使用。IC-SHM Expert 2 Public Augmentation is a data augmentation subset for visual question answering (VQA) and image-to-text tasks in the field of structural health monitoring (SHM). This dataset aims to enhance the training data of the original IC-SHM Expert 2 competition by incorporating public image data, specifically targeting scarce categories in concrete damage: cracks (concrete_crack) and efflorescence. It contains 250 curated public images (50 for cracks and 200 for efflorescence), with each image corresponding to two description records: one classification-style question-answer record and one damage description record, totaling 500 records. The data is sourced from three publicly available real-world image datasets: CODEBRIM (providing candidate images for cracks and efflorescence, for non-commercial use), MCDS (providing candidate images for efflorescence, under CC BY 4.0 license), and NCCD-PF (providing candidate images for concrete cracks). Users must comply with the licensing and attribution requirements of the respective source datasets. Descriptions are generated using the Qwen/Qwen3-VL-8B-Instruct model with category-specific prompts to match the description style of the original competition, resulting in machine-generated annotations that are recommended for manual review before use. The dataset is intended only for training augmentation; the original competitions validation set (57 images) and test set (57 images) remain unchanged. The augmented training set includes the original 458 images plus the new 250 public images, totaling 708 unique images. The file structure includes an image folder, a description JSON file, a manifest JSONL file (recording sources, hashes, labels, and generated descriptions), a statistical summary JSON file, and LoRA adapter weights. This dataset is suitable for tasks such as structural health monitoring, concrete damage detection, visual question answering, and image caption generation, but it has limitations: descriptions are model-generated and may have visual inaccuracies, it only covers two categories (cracks and efflorescence), test support for efflorescence is limited, and it should not be used as a standalone benchmark.

原始信息汇总

IC-SHM Expert 2 Public Augmentation 数据集概述

该数据集是用于 IC-SHM Expert 2 竞赛的公开数据扩充集，主要针对结构健康监测领域的混凝土损伤识别任务。

数据集基本信息

• 语言: 英语
• 任务类型: 图像到文本、视觉问答
• 数据规模: 少于1000条记录
• 标签: 结构健康监测、混凝土损伤、裂缝、泛碱

数据集内容

数据集包含250张精选的公开图像，具体类别分布如下：

类别	图像数量
混凝土裂缝 (concrete_crack)	50
泛碱 (efflorescence)	200
总计	250

每张图像在 description.json 中有两条记录：一条分类式问答记录和一条损伤描述记录，共计500条问答记录。

文件结构

• image/：250张精选公开图像
• description.json：500条竞赛风格问答记录
• manifest.jsonl：来源信息、哈希值、标签及生成描述
• summary.json：紧凑数据集统计信息
• lora_weights/：最终 PEFT LoRA 适配器权重
• MODEL_CARD.md：适配器详情与评估
• SPLIT_AND_TRAINING.md：训练拆分说明

数据来源

来源	用途	许可协议
CODEBRIM	裂缝和泛碱候选图像	非商业用途，需查阅原始包协议
MCDS	泛碱候选图像	CC BY 4.0
NCCD-PF	混凝土裂缝候选图像	需查阅原始数据集协议

标注流程

图像从公开的真实图像数据集中选取，以平衡两类稀缺样本。选定的图像批次在审查界面中经过人工筛选，描述文本使用 Qwen/Qwen3-VL-8B-Instruct 模型根据竞赛描述风格生成。所有描述均为机器生成标注，在实验外使用前建议进行额外人工审查。

manifest.jsonl 是可审计的数据来源记录，包含可移植图像路径、生成描述、来源标识、源URL、许可证及 SHA256 校验信息。

训练拆分策略

公开图像仅用于 训练集，原始竞赛验证集和测试集保持不变：

拆分	原始竞赛	公开扩充	唯一总计
训练集	458	250	708
验证集	57	0	57
测试集	57	0	57

原始竞赛中3张泛碱训练图像被重复至各40次，共增加117条校准行，最终训练器实际看到825行，但唯一训练图像数保持为708张。

下载方式

python from huggingface_hub import snapshot_download

snapshot_download( repo_id="JasonXF/IC_SHM_Expert_2", repo_type="dataset", local_dir="IC_SHM_Expert_2", )

局限性与注意事项

• 公开描述为模型生成，可能存在视觉不准确之处
• 扩充仅覆盖裂缝和泛碱两类
• 泛碱类测试集仅包含1张图像，其类别级 METEOR 指标统计上不稳定
• 该子集不可被解释为独立的基准测试

用户需自行遵守各源数据集的许可和署名要求。

搜集汇总

数据集介绍

构建方式

IC_SHM_Expert_2数据集的构建源自对结构健康监测领域中混凝土损伤图像的精细化扩充。针对原始竞赛数据集中裂纹与泛碱两类样本稀缺的问题，研究团队从CODEBRIM、MCDS及NCCD-PF等多个公开真实图像数据集中精选出250张图像，涵盖50张混凝土裂纹与200张泛碱样本。每张图像均通过人工筛选界面进行复核，并借助Qwen3-VL-8B-Instruct大模型，依据竞赛描述风格生成两类问答记录：分类式问答与损伤描述式问答，最终形成500条高质量记录。构建过程确保数据来源可追溯，并通过manifest.jsonl文件记录每张图像的来源、哈希值、标签及生成描述等元信息，为后续审计提供可靠依据。

使用方法

用户可通过Hugging Face的`snapshot_download`函数便捷下载整个数据集至本地，命令为`snapshot_download(repo_id='JasonXF/IC_SHM_Expert_2', repo_type='dataset', local_dir='IC_SHM_Expert_2')`。下载后，数据集目录包含图像文件夹、`description.json`、`manifest.jsonl`及`summary.json`等核心文件。使用时需注意，自动生成的描述可能存在视觉误差，建议在实际应用前进行人工复核。该数据集不可作为独立基准测试集，其增强效果需结合原始竞赛的验证与测试集进行综合评估。同时，用户需遵守各来源数据集的许可协议，合理使用数据。

背景与挑战

背景概述

在结构健康监测领域，混凝土结构表面损伤的自动化视觉检测对于基础设施维护至关重要。IC_SHM_Expert_2数据集由香港大学Jason Jiang团队于2025年创建，专注于解决混凝土裂缝与泛碱两类关键损伤的细粒度视觉问答任务。该数据集通过整合CODEBRIM、MCDS及NCCD-PF等公开真实图像数据集，构建了250张精选图像的增强集，并配备了500条竞赛风格的视觉问答记录。作为IC-SHM Expert 2竞赛的公共增强数据，其核心研究问题在于提升多模态大语言模型在结构损伤描述与分类上的性能，通过LoRA微调适配Qwen3-VL-8B模型，为基础设施智能化巡检提供了可复现的基准。

当前挑战

该数据集所面临的挑战首先体现在领域问题层面：混凝土裂缝与泛碱在视觉上具有高度相似性且形态多变，传统图像分类方法难以精确区分并生成精细的自然语言描述，亟需多模态大模型在少样本条件下实现高泛化能力的视觉问答。构建过程中遭遇多重困难：原始竞赛图像的版权限制迫使团队仅能从公开数据源筛选候选图像；两类损伤的原始样本极不均衡，泛碱类别仅有极少的域内训练样本，需通过数据增强与重复采样策略平衡分布；机器生成的描述虽遵循竞赛风格，但可能存在视觉不准确性问题，且泛碱类别的测试支撑图像仅有一张，导致其评估指标的统计稳定性不足。

常用场景

经典使用场景

在结构健康监测领域，混凝土结构的表观损伤识别是一项基础而关键的任务。IC_SHM_Expert_2数据集专注于两种典型但数据稀缺的混凝土损伤类型——裂缝与泛碱（efflorescence），通过从CODEBRIM、MCDS和NCCD-PF等公开数据源中精心筛选并增强图像，构建了250幅高质量的标注图像。该数据集最经典的使用场景是作为视觉问答（Visual Question Answering）任务的微调与评测基础，其每条图像均配套分类式问答与损伤描述两种记录，形成500条完整问答对，适用于训练具备细粒度损伤理解能力的多模态大语言模型。数据集提供的公共增强数据与原始竞赛训练集融合后，训练样本总数达到708幅，显著提升了稀有类别的样本平衡性，为结构损伤智能诊断模型的鲁棒训练提供了关键数据支撑。

解决学术问题

该数据集直面结构健康监测中困扰学界多年的长尾分布问题——真实场景下‘泛碱’和‘裂缝’类别的标注样本极度匮乏，导致深度模型在识别这些关键损伤时表现欠佳。IC_SHM_Expert_2通过系统性的公开数据检索与增强策略，有效扩充了稀有类别的样本容量，解决了小样本条件下多模态模型泛化能力不足的学术瓶颈。其贡献在于为视觉问答框架下的损伤识别研究提供了可复现的公共基准数据，使得研究者能够公平地评估不同模型在细粒度缺陷理解上的性能差异。此外，数据集附带的可审计元数据（manifest.jsonl）和完整的训练代码与实验记录，树立了透明复现的学术规范，推动了结构损伤智能诊断领域的可重复性研究进程。

实际应用

在实际工程场景中，IC_SHM_Expert_2的应用价值体现在为桥梁、隧道、高层建筑等混凝土基础设施的自动化巡检系统提供深度学习模型的训练基础。基于该数据集微调得到的Qwen3-VL-8B LoRA适配器，能够驱动无人机或巡检机器人实时捕捉结构表面的裂缝与泛碱图像，并生成自然语言形式的损伤描述，从而辅助工程师进行快速、标准化的病害评估。数据集的公共增强策略使得即使在没有大量私有标注数据的中小型工程团队中，也能利用公开数据构建具备竞争力的智能诊断模型，显著降低结构健康监测系统的部署成本。未来还可将其与数字孪生技术结合，实现损伤演化趋势的自动化追踪与预警。

数据集最近研究

最新研究方向

针对结构健康监测中混凝土裂缝与泛碱两类稀缺损伤的视觉问答增强数据集与多模态大模型轻量化微调方案，IC_SHM_Expert_2数据集通过从CODEBRIM、MCDS和NCCD-PF等公开数据源精选250张图像，构建了500条竞赛风格的问答记录，并基于Qwen3-VL-8B-Instruct生成描述性标注，结合LoRA微调技术，显著提升了模型对混凝土结构早期损伤的识别与描述能力。该工作聚焦于土木工程领域中视觉语言模型在少样本场景下的应用，通过针对性的数据增强与高效的参数高效微调，为基础设施健康监测的智能化、自动化提供了可复现的技术路径，推动了深度学习与结构安全评估的交叉融合。