Grid Anchor based Image Cropping Database (GAICD)

GAICD是由香港理工大学计算机系构建的一个新型图像裁剪数据库，包含1,236张图像和106,860个标注的候选裁剪。该数据集通过考虑图像裁剪的特殊属性和需求，如局部冗余、内容保护和宽高比，采用网格锚点方法大幅减少了候选裁剪的数量，从数百万减少到不超过90个。数据集中的每个裁剪都由7位经验丰富的人类受试者进行标注，提供了丰富的监督信息，并定义了三种新的评估指标，以更可靠地评估裁剪模型的性能。GAICD旨在为研究人员提供一个更合理的裁剪基准，以开发和评估他们的模型，特别适用于解决图像美学和构图优化的问题。GAICD is a novel image cropping database constructed by the Department of Computer Science, The Hong Kong Polytechnic University. It contains 1,236 images and 106,860 annotated candidate croppings. By considering the special attributes and requirements of image cropping such as local redundancy, content preservation and aspect ratio, the grid anchor method is adopted to drastically reduce the number of candidate croppings from millions to no more than 90. Each cropping in the dataset is annotated by 7 experienced human subjects, providing rich supervisory information. Three novel evaluation metrics are defined to more reliably evaluate the performance of cropping models. GAICD aims to provide researchers with a more reasonable cropping benchmark for developing and evaluating their models, and is particularly suitable for addressing image aesthetics and composition optimization problems.

原始信息汇总

Grid-Anchor-based-Image-Cropping-Pytorch 数据集概述

环境要求

• Python 2.7
• PyTorch 0.4.1
• NumPy
• OpenCV (cv2)
• SciPy

使用方法

1. 数据集下载：

   • 会议版本数据集：下载链接
   • 期刊版本数据集：下载链接

2. 预训练模型下载：

   • 会议版本预训练模型：下载链接
   • 期刊版本预训练模型：下载链接

3. 运行代码：

   • 训练新模型：运行 TrainModel.py
   • 测试预训练模型：运行 demo_eval.py

4. 修改裁剪比例：

   • 在 croppingDataset.py 文件中修改 generate_bboxes 函数（第115行）

其他实现

• PyTorch 1.0 或更高版本：GitHub链接
• Matlab 会议版本：GitHub链接

引用

@inproceedings{zhang2019deep, title={Reliable and Efficient Image Cropping: A Grid Anchor based Approach}, author={Zeng, Hui, Li, Lida， Cao, Zisheng and Zhang, Lei}, booktitle={IEEE Conference on Computer Vision and Pattern Recognition}, year={2019} } @article{zeng2020cropping, title={Grid Anchor based Image Cropping: A New Benchmark and An Efficient Model}, author={Zeng, Hui and Li, Lida and Cao, Zisheng and Zhang, Lei}, journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, volume={}, number={}, pages={}, year={2020}, publisher={IEEE} }

搜集汇总

数据集介绍

构建方式

GAICD数据集通过网格锚点方法构建，考虑了图像裁剪的特殊属性，如局部冗余、内容保留和宽高比要求。该方法将候选裁剪区域的数量从数百万减少到不超过90个，显著降低了搜索空间。数据集包含1,236张图像，每张图像的所有候选裁剪区域都被详细标注，共有106,860个标注的候选裁剪区域，每个裁剪区域由7位经验丰富的人类标注者进行评分。

使用方法

GAICD数据集可用于训练和评估图像裁剪模型。研究者可以使用该数据集训练深度学习模型，通过多尺度特征提取和区域兴趣与丢弃区域的联合建模，生成视觉上令人满意的裁剪结果。数据集的密集标注和新的评估指标为模型提供了更丰富的监督信息和更可靠的性能评估方法，使得模型能够在不同的场景和宽高比要求下表现出色。

背景与挑战

背景概述

图像裁剪是提升图像构图和美学质量的重要操作，旨在通过去除多余内容来改善图像的视觉效果。现有的图像裁剪数据集通常仅提供一个或几个由人工标注的边界框作为参考，难以反映实际裁剪任务中的非唯一性和灵活性。此外，常用的评估指标如交并比（IoU）无法准确反映裁剪模型的实际性能。为此，Hui Zeng、Lida Li、Zisheng Cao和Lei Zhang等研究人员提出了一种基于网格锚点的图像裁剪方法，考虑了图像裁剪的特殊属性（如局部冗余、内容保留和宽高比），并构建了一个新的裁剪基准数据集GAICD。该数据集包含1,236张图像和106,860个候选裁剪区域，每个裁剪区域由7位经验丰富的人工标注者进行评分，提供了更可靠的评估指标。该数据集的构建为图像裁剪领域的研究提供了新的平台，推动了自动图像裁剪技术的发展。

当前挑战

图像裁剪任务面临的主要挑战包括：首先，裁剪结果的非唯一性和灵活性使得现有的数据集难以提供足够的标注信息来训练鲁棒的裁剪模型。其次，现有的评估指标如IoU和边界位移误差（BDE）无法准确反映裁剪模型的性能，导致模型评估存在偏差。此外，图像裁剪的搜索空间巨大，每张图像可能存在数百万个候选裁剪区域，而现有的数据集仅提供了有限的标注数据，难以满足模型训练的需求。最后，裁剪任务的主观性和高自由度使得标注成本高昂，且标注结果的一致性难以保证。为了应对这些挑战，GAICD数据集通过密集标注和新的评估指标，为裁剪模型的训练和评估提供了更可靠的基础。

常用场景

经典使用场景

GAICD数据集最经典的使用场景在于自动图像裁剪任务。该数据集通过提供详细的网格锚点标注，使得研究人员能够训练出高效的图像裁剪模型。这些模型能够在不同的场景和分辨率下，自动裁剪出视觉上更具吸引力的图像区域，尤其适用于需要处理大量图像的场景，如摄影后期处理、图像编辑软件以及社交媒体平台的自动裁剪功能。

解决学术问题

GAICD数据集解决了现有图像裁剪数据库中标注不足和评估指标不可靠的问题。传统的图像裁剪数据库通常只提供单一或少数几个标注框，无法反映裁剪任务的多样性和灵活性。GAICD通过提供密集的标注和新的评估指标，如Pearson相关系数和Spearman秩相关系数，使得研究人员能够更准确地评估裁剪模型的性能，推动了自动图像裁剪领域的研究进展。

实际应用

GAICD数据集在实际应用中具有广泛的应用场景。例如，在摄影领域，摄影师可以使用自动裁剪工具快速优化大量照片的构图；在社交媒体平台，用户上传的照片可以通过自动裁剪功能自动调整以适应不同的显示比例；在无人机和移动设备中，实时图像裁剪技术可以确保在资源受限的设备上高效运行，提升用户体验。

数据集最近研究

最新研究方向

近年来，图像裁剪领域的研究逐渐从传统的基于注意力或美学驱动的裁剪方法转向了数据驱动的深度学习方法。Grid Anchor based Image Cropping Database (GAICD) 数据集的提出，标志着图像裁剪研究进入了一个新的阶段。该数据集通过引入网格锚点机制，显著减少了候选裁剪区域的搜索空间，并提供了详尽的标注，使得裁剪模型的训练更加高效和可靠。最新的研究方向主要集中在设计轻量级且高效的裁剪模型，这些模型能够在资源受限的设备上实现实时裁剪。此外，多尺度特征提取和区域兴趣与丢弃区域的联合建模成为提升裁剪质量的关键技术。GAICD 数据集的广泛应用，推动了图像裁剪评估指标的改进，使得裁剪模型的性能评估更加全面和准确。

相关研究论文

• Grid Anchor based Image Cropping: A New Benchmark and An Efficient Model

  香港理工大学计算机系 · 2019年