VP inconsistencies dataset

Name: VP inconsistencies dataset
Creator: 东京大学
Published: 2025-12-08T20:38:11+08:00

arXiv2025-12-08 更新2025-12-10 收录

计算机视觉

生成图像几何校正

数据链接：

https://github.com/RyotaOkumura/ControlVP 数据链接链接失效反馈

官方服务：

资源简介：

该数据集由东京大学研究团队创建，专注于AI生成图像中的消失点（VP）不一致性问题，旨在为几何校正提供量化评估基准。数据集包含人工标注的消失点位置和建筑轮廓，数据来源为Stable Diffusion等主流生成模型产生的图像，并通过专业标注构建几何一致性真值。研究团队采用交互式标注流程，确保数据精准反映建筑场景中平行线组的空间几何关系。该数据集主要应用于计算机视觉领域，解决生成图像的结构真实性缺陷，并为图像到3D重建等需几何精确度的任务提供支持。

This dataset was developed by a research team at The University of Tokyo, focusing on the vanishing point (VP) inconsistency issue in AI-generated images, and aims to provide a quantitative evaluation benchmark for geometric correction. It contains manually annotated vanishing point positions and building outlines. The source images are generated by mainstream generative models including Stable Diffusion, and professional annotation is employed to establish the ground truth of geometric consistency. The research team utilized an interactive annotation workflow to ensure that the data accurately reflects the spatial geometric relationships of parallel line groups in architectural scenes. This dataset is primarily applied in the field of computer vision, addressing structural authenticity defects in generated images and supporting tasks requiring high geometric precision such as image-to-3D reconstruction.

提供机构：

东京大学

创建时间：

2025-12-08

原始信息汇总

ControlVP 数据集概述

数据集基本信息

数据集名称: HoliCity
关联论文: ControlVP: Interactive Geometric Refinement of AI-Generated Images with Consistent Vanishing Points
论文作者: Ryota Okumura, Kaede Shiohara, Toshihiko Yamasaki
发表会议: WACV 2026
论文链接: https://arxiv.org/abs/2512.07504

数据集用途

该数据集用于训练 ControlVP 模型，这是一个用户引导的框架，旨在利用建筑轮廓作为条件，校正 AI 生成图像中的消失点不一致问题。

数据集内容与结构

数据集包含以下文件，需从 HoliCity 主页 (https://holicity.io/) 下载：

图像文件: https://huggingface.co/yichaozhou/holicity/tree/main/perspective/image-v1
法线图: https://huggingface.co/yichaozhou/holicity/tree/main/perspective/normal-v1
平面图: https://huggingface.co/yichaozhou/holicity/blob/main/perspective/plane-v1.tar
消失点数据: https://huggingface.co/yichaozhou/holicity/blob/main/perspective/vpts-v1.tar

下载后，需按以下目录结构组织数据集：

<dataset_root>/ ├── images/ ├── normal_map/ ├── planes/ └── vanishing_points/

数据集预处理

需运行脚本 src/script/create_training_dataset.sh 来创建训练数据集。此过程将生成包含边缘信息的输出目录。

相关资源

官方代码仓库: https://github.com/RyotaOkumura/ControlVP
交互式 GUI 工具: https://github.com/RyotaOkumura/GUI_for_ControlVP (用于创建自定义控制指令)
预训练模型: 代码仓库提供，可用于快速推理。

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，几何一致性是评估生成图像真实性的关键指标，尤其是消失点的一致性直接影响场景的空间结构感知。VP inconsistencies dataset的构建依托于HoliCity这一城市规模的三维数据集，该数据集提供了50,024张包含标注的图像，涵盖法线图、表面分割、深度图及消失点位置。研究团队从表面分割图中提取建筑轮廓，并采用Douglas-Peucker算法进行多边形近似，筛选出与标注消失点方向角度差异低于阈值θ的边缘，记录其端点坐标，从而生成了用于训练和评估的建筑轮廓数据。这一过程确保了数据在几何标注上的精确性，为消失点一致性校正任务提供了可靠的基础。

特点

该数据集专注于消失点不一致性问题的量化评估，其核心特点在于首次系统性地标注了生成图像中的消失点位置与建筑轮廓信息。数据集包含从不同文本到图像模型生成的图像样本，例如Stable Diffusion v2.1、FLUX.1-dev和PixArt-α，涵盖了多样化的建筑场景。每个样本均标注了目标消失点、正确的建筑轮廓以及原始不一致轮廓，使得研究者能够精确评估几何校正方法的性能。数据集的设计强调了用户交互性，通过图形界面支持手动指定几何修正指令，为消失点一致性研究提供了兼具实用性与可扩展性的基准资源。

使用方法

在图像生成与几何校正的研究中，该数据集主要用于评估消失点一致性改进方法的有效性。使用者首先加载包含标注的图像，通过提供的图形界面指定目标消失点位置和正确的建筑轮廓，系统自动生成修正区域掩码。基于ControlNet架构的预训练扩散模型结合消失点损失函数，对掩码区域进行条件生成，以实现几何校正同时保持未修改区域的视觉保真度。评估时采用角度准确率和感知相似度距离等指标，量化校正后图像与目标几何约束的对齐程度。该数据集支持交互式修正流程，为计算机视觉中几何一致性研究提供了标准化实验平台。

背景与挑战

背景概述

随着文本到图像生成模型的迅猛发展，如Stable Diffusion和DALLE-3，其在视觉质量上取得了显著成就，然而几何不一致性问题，特别是消失点不一致，严重削弱了生成场景的结构真实感。消失点作为透视几何的核心概念，描述了三维空间中平行线在二维图像上的汇聚点，其一致性对于建筑场景的空间真实感至关重要。东京大学的研究团队于2025年提出了VP inconsistencies dataset，旨在系统性地评估和纠正AI生成图像中的消失点不一致问题。该数据集的创建源于对现有生成模型在几何约束方面不足的深入观察，核心研究问题聚焦于如何通过用户引导的交互式框架，提升生成图像的几何一致性，从而推动图像生成技术在需要精确空间结构的应用领域，如建筑设计和三维重建中的实际效用。

当前挑战

VP inconsistencies dataset所应对的领域挑战在于，当前先进的图像生成模型普遍存在消失点不一致问题，导致平行线在二维空间中无法正确汇聚，从而破坏了场景的结构合理性与空间深度感知。这一几何缺陷限制了生成图像在自动驾驶、机器人导航等依赖精确几何信息的下游任务中的实用性。在数据集构建过程中，面临的挑战主要包括：从现有城市规模三维数据集中提取建筑轮廓线并确保其与标注消失点方向对齐的复杂性；以及为量化评估而创建首个消失点不一致数据集时，需要手动标注目标消失点位置、正确建筑轮廓和原始不一致区域，这一过程既耗时又要求标注者具备透视几何的专业知识。

常用场景

经典使用场景

在计算机视觉与图像生成领域，几何一致性是衡量生成图像空间真实感的核心指标。VP inconsistencies dataset作为首个专注于消失点不一致性的标注数据集，其经典使用场景在于评估和提升生成式模型的几何保真度。该数据集通过精确标注建筑轮廓线与目标消失点位置，为研究者提供了量化分析图像透视错误的基准工具，尤其适用于分析Stable Diffusion、DALL·E-3等主流生成模型在建筑场景中平行线收敛异常的问题。

衍生相关工作

该数据集的发布催生了多项聚焦几何一致性的衍生研究。基于其标注范式，学术界提出了融合深度信息与透视损失的生成模型改进方案，如将消失点约束嵌入潜在扩散模型的训练流程。同时，数据集启发了对非曼哈顿世界假设下消失点检测算法的重新评估，推动了如NeurVPS等检测架构在复杂场景中的适应性研究。这些工作共同构成了生成式视觉几何纠错的技术脉络，为后续多模态生成模型的物理合理性研究奠定基础。

数据集最近研究