PIXAR
收藏资源简介：
PIXAR是由穆罕默德·本·扎耶德人工智能大学团队构建的大规模视觉语言模型图像篡改检测基准，包含38万训练样本和4万测试样本。该数据集创新性地采用像素级篡改标注图替代传统物体掩码，通过八种篡改类型（替换/移除/拼接/修复/属性修改等）覆盖真实场景需求，并整合了Flux.2、Gemini等前沿生成模型的编辑结果。数据集经过四阶段严格构建流程，包括生成有效性检查、图像保真度评估及语义标注，支持检测定位与语义理解的多任务评估，旨在解决生成式AI时代细粒度篡改检测的基准失准问题。
PIXAR is a large-scale visual-language model-based image forgery detection benchmark developed by the team at Mohamed bin Zayed University of Artificial Intelligence. It comprises 380,000 training samples and 40,000 test samples. This dataset innovatively replaces traditional object masks with pixel-level forgery annotation maps, covering real-world application demands through eight types of forgery operations including replacement, removal, splicing, inpainting, attribute modification, and others. It also integrates editing results from cutting-edge generative models such as Flux.2 and Gemini. The dataset follows a rigorous four-stage construction pipeline, including generation validity verification, image fidelity assessment, and semantic annotation, and supports multi-task evaluation for both forgery localization and semantic understanding, aiming to address the benchmark misalignment issue in fine-grained forgery detection within the generative AI era.
PIXAR 数据集概述
数据集基本信息
- 数据集名称：PIXAR
- 核心贡献：提出一个针对视觉语言模型（VLM）图像篡改检测的新分类法、基准和指标。
- 主要目标：解决现有基于掩码的篡改基准中真实编辑信号与粗糙对象掩码标签错位的问题，将任务重新定义为像素级、语义感知和语言感知的任务。
数据集规模与构成
- 总规模：超过 420,000 个训练图像对。
- 测试集：包含 40,000 个图像对（经过平衡处理）。
- 数据标签：每个图像对均包含以下标注：
- 像素级篡改图（$M_ au$）。
- 语义类别标签。
- 自然语言描述。
- 图像是否被篡改的标签。
数据特性与创新
- 新分类法：涵盖 8 种编辑原语（替换/移除/拼接/修复/属性修改/着色等），并与被篡改对象的语义类别相关联。
- 新基准：使用像素差异图 $D = |I_{ ext{orig}} - I_{ ext{gen}}|$ 替代二元掩码作为动态真值。通过可调阈值 $ au$ 生成 $M_ au$，能够在较低 $ au$ 值下捕捉微观编辑，在较高 $ au$ 值下捕捉高置信度的语义变化。
- 阈值选择指南：
- $ au = 0.01$：捕捉微观编辑和细微像素变化。
- $ au = 0.05$：默认值——平衡的灵敏度（推荐）。
- $ au = 0.1$：仅捕捉高置信度的语义变化。
- $ au = 0.2$：保守——仅捕捉大型、明显的编辑。
数据获取方式
- 选项A（推荐）：下载预处理的完整数据集。训练和测试集（$ au = 0.05$）可通过 Google Drive 获取。包含以下文件：
train_0.05.tar.gz：完整训练集（包含所有篡改类型图像）。train_mask-only_0.05.tar.gz：精简训练集（仅包含掩码型篡改图像）。test_full_0.05.tar.gz：完整测试集（聚合了所有6个生成来源）。- 其他按生成来源划分的测试集文件（如 Qwen, Gemini 等）。
- 选项B：从原始数据构建。提供原始图像对和像素差异图，允许用户按任意 $ au$ 值重新生成标签。
数据集目录结构
dataset_dir/ ├── train/ │ ├── real/ # 真实图像 │ ├── full_synthetic/ # 完全生成的图像（空） │ ├── tampered/ # AI篡改图像 │ ├── masks/ # 用于生成篡改图像的掩码 │ ├── soft_masks/ # 像素差异图 M_τ（默认 τ = 0.05） │ └── metadata/ # 每个篡改图像的JSON元数据：{"cls": [...], "text": "..."} └── validation/ └── (相同结构)
相关模型
基于该数据集训练并发布了多个模型变体，均可在 HuggingFace 获取：
- PIXAR-7B：基于 SIDA-7B，使用完整训练集 (
train_0.05) 训练。 - PIXAR-7B_lite：基于 SIDA-7B，使用精简训练集 (
train_mask-only_0.05) 训练。 - PIXAR-13B：基于 SIDA-13B，使用完整训练集 (
train_0.05) 训练。 - PIXAR-13B_lite：基于 SIDA-13B，使用精简训练集 (
train_mask-only_0.05) 训练。
许可信息
- 许可证：MIT License。
