Curvilinear Object Segmentation based on Text Generation (COSTG)

COSTG数据集由重庆大学计算机学院开发，旨在通过文本生成技术扩展曲线对象分割数据集。该数据集不仅包含传统的语义地图，还加入了曲线对象的多特征文本描述，以增强合成数据的信息量和语义一致性。数据集的创建基于六个公开的曲线对象分割数据集，并通过添加文本描述来丰富数据内容。COSTG数据集的应用领域广泛，包括道路状况评估、视网膜底片疾病筛查和冠状动脉疾病诊断等，旨在通过提供更丰富的数据来提高曲线对象分割模型的性能。

COSTG dataset was developed by the School of Computer Science, Chongqing University, aiming to expand the curve object segmentation dataset via text generation technology. This dataset not only includes traditional semantic maps, but also incorporates multi-feature text descriptions of curve objects to enhance the information richness and semantic consistency of synthetic data. The dataset is constructed based on six public curve object segmentation datasets, with text descriptions added to enrich the data content. The COSTG dataset has a wide range of application scenarios, including road condition assessment, retinal fundus disease screening, coronary artery disease diagnosis and others, and its purpose is to improve the performance of curve object segmentation models by providing more abundant data.

原始信息汇总

COSTG 数据集

概述

COSTG 是一个用于曲线对象的文本-图像生成数据集。该数据集与 ECCV 2024 论文 Enriching Information and Preserving Semantic Consistency in Expanding Curvilinear Object Segmentation Datasets 相关。

数据集下载

COSTG 数据集可以在 Hugging Face 上下载。

数据集生成流程

在论文中，我们介绍了语义一致性保持控制网络（SCP ControlNet），该网络通过适应 SPADE 模块来保持合成图像和语义图之间的一致性。

演示

提供了一个 Hugging Face 演示 Huggingface demo。

训练

训练部分正在建设中。

待办事项

• [x] 发布 Gradio 演示
• [x] 发布 COSTG 数据集
• [ ] 发布模型代码和权重
• [ ] 发布训练和推理代码

致谢

COSTG 的代码基于 ControlNet 和 SPADE。感谢这些作者的开源模型。

引用

如果您发现我们的工作或任何我们的材料有用，请引用我们的论文：

@misc{lei2024enrichinginformationpreservingsemantic, title={Enriching Information and Preserving Semantic Consistency in Expanding Curvilinear Object Segmentation Datasets}, author={Qin Lei and Jiang Zhong and Qizhu Dai}, year={2024}, eprint={2407.08209}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2407.08209}, }

联系

如有任何关于此数据集或代码的问题，请联系 Qin Lei 博士 ([e-mail], [e-mail])。

搜集汇总

数据集介绍

构建方式

Curvilinear Object Segmentation based on Text Generation (COSTG) 数据集是通过结合文本特征来生成曲线对象分割数据集的。首先，从原始数据集中提取文本特征，包括概述、数据集、位置、大小、趋势和形状以及背景等六个特征字段。然后，使用这些文本特征来生成新的语义图，这些语义图超出了原始数据集的分布。最后，使用语义图和修改后的文本特征通过SCP ControlNet生成相应的图像。

特点

COSTG数据集的特点在于其包含标准语义图和曲线对象的文本描述。这使得数据集不仅包含了图像数据，还包含了丰富的文本信息，为文本驱动的生成模型提供了更全面的数据支持。此外，COSTG数据集还引入了SCP ControlNet，这是一种改进的ControlNet，通过空间自适应归一化（SPADE）来保持语义信息，从而实现更精确的语义图像合成。

使用方法

使用COSTG数据集的方法如下：首先，从COSTG数据集中随机采样特征，生成用于生成语义图的文本描述。然后，使用这些文本描述通过条件生成技术生成新的语义图。最后，使用生成的语义图和修改后的文本描述通过SCP ControlNet生成相应的图像。这样就可以得到一个扩展后的数据集，其中包含更多的图像和语义图，用于曲线对象的分割任务。

背景与挑战

背景概述

Curvilinear object segmentation is a critical task across various applications, including road condition assessment, retinal fundus disease screening, and coronary artery disease diagnosis. The complexity of curvilinear structures, characterized by their thin, elongated forms and intricate branching, poses significant challenges for accurate segmentation. Existing datasets in this domain often suffer from small scale due to the high costs associated with data acquisition and annotation. To address these challenges, the Curvilinear Object Segmentation based on Text Generation (COSTG) dataset was created. The dataset incorporates not only standard semantic maps but also textual descriptions of curvilinear object features, enhancing the informativeness of synthetic data and preserving semantic consistency between generated images and semantic maps. The COSTG dataset was developed by Qin Lei, Jiang Zhong, and Qizhu Dai from the School of Computer Science at Chongqing University, China. It has significantly impacted the field of curvilinear object segmentation by providing a larger, more informative dataset that aids in the training and generalization of segmentation models.

当前挑战

The primary challenge in curvilinear object segmentation is the generation of synthetic data that introduces sufficient new information to surpass the original dataset’s distribution while maintaining high consistency between semantic maps and generated images. Traditional data augmentation techniques are limited in their ability to expand the dataset effectively, and deep generative models, particularly those based on Generative Adversarial Networks (GANs) and Diffusion Models, can suffer from overfitting and loss of semantic information during the normalization process. The COSTG dataset addresses these challenges by combining multiple textual features to generate semantic maps that significantly exceed the original dataset’s distribution. To ensure consistency, the Semantic Consistency Preserving ControlNet (SCP ControlNet) was introduced, which adapts ControlNet with Spatially-Adaptive Normalization (SPADE) to retain semantic information. The dataset and methodology have been evaluated across three types of curvilinear objects (angiography, cracks, and retina) and six public datasets, demonstrating the effectiveness of the approach in improving the performance of curvilinear object segmentation models.

常用场景

经典使用场景

在众多应用场景中，曲线对象分割扮演着至关重要的角色，包括评估道路状况及其维护、视网膜眼底疾病筛查和冠状动脉疾病诊断等。然而，由于数据采集和标注的高成本，该领域的现有数据集往往规模较小。COSTG数据集旨在通过生成具有多重文本特征的曲线对象来丰富合成数据的信息量，从而扩展曲线对象分割数据集。该数据集结合了原始数据集中的文本特征，生成了超出原始数据集分布的合成图像。为了确保合成语义图和图像之间的一致性，引入了语义一致性保持控制网络（SCP ControlNet）。SCP ControlNet通过空间自适应归一化（SPADE）对ControlNet进行了改进，使其能够保留在归一化层中通常丢失的语义信息，从而实现更准确的语义图像合成。实验结果表明，该方法在三种类型的曲线对象（血管造影、裂纹和视网膜）和六个公共数据集（CHUAC、XCAD、DCA1、DRIVE、CHASEDB1和Crack500）上均表现出色。由该方法生成的合成数据不仅扩展了数据集，还有效地提高了其他曲线对象分割模型的表现。

实际应用

COSTG数据集在实际应用中具有广泛的应用前景。例如，在道路状况评估中，COSTG数据集可以用于训练分割模型，从而准确地识别道路裂缝，为道路维护提供依据。在视网膜眼底疾病筛查中，COSTG数据集可以用于训练分割模型，从而准确地识别视网膜血管，为疾病诊断提供依据。在冠状动脉疾病诊断中，COSTG数据集可以用于训练分割模型，从而准确地识别冠状动脉，为疾病诊断提供依据。此外，COSTG数据集还可以用于其他需要曲线对象分割的应用场景，例如工业缺陷检测、医学图像分析等。

衍生相关工作

COSTG数据集及其方法衍生了多个相关的经典工作。例如，SCP ControlNet的引入为语义图像合成提供了一种新的思路，可以用于其他需要语义图像合成的任务。此外，COSTG数据集的生成方法可以用于其他类型的数据集扩展，例如图像分类数据集、目标检测数据集等。这些相关工作进一步扩展了COSTG数据集及其方法的应用范围，为相关领域的研究提供了新的思路和方法。