AINPAINT
收藏资源简介：
AINPAINT是一个大规模视频取证数据集，专为像素级视频修复定位任务而构建。随着生成式人工智能的快速发展，视频修复和对象移除技术变得高度逼真，对多媒体完整性构成严重威胁。现有取证检测器主要依赖高频噪声或特定伪影特征，这些特征容易被H.264/HEVC压缩和AI后处理等真实世界退化所破坏。为填补这一关键空白，AINPAINT数据集包含了超过25,000个视频序列，这些序列使用九种不同的生成技术（包括OPN、STTN、FGVC、DSTT、CoCoCo、LDVI、FuseFormer、GMCNN、DiffuEraser）进行了操纵。数据集明确包含了经过时间平滑和重度压缩处理的变体，以模拟真实场景。核心内容为同一组源视频剪辑（分辨率432×240）提供配对数据：原始未操纵视频剪辑（标签0，真实）、九种修复方法生成的对应操纵版本（标签1，伪造），以及像素级的真值定位掩码（提供original和resized_432x240两种版本），与视频剪辑逐帧对齐。数据规模方面，总共有28,080个视频实例（包括25,272个伪造视频和2,808个真实视频），共计涉及711,148个PNG帧和1,422,264个解码的MP4帧。每个修复技术包含9种变体，模拟不同处理流程（如PNG帧文件夹和重新压缩的MP4视频）。数据集适用于视频修复定位、视频取证、媒体真实性验证和深度伪造检测等任务，以tar存档形式分发，基于CC-BY-4.0许可证发布。
AINPAINT is a large-scale video forensics dataset built specifically for pixel-level video inpainting localization tasks. With the rapid development of generative AI, video inpainting and object removal technologies have become highly realistic, posing severe threats to multimedia integrity. Existing forensic detectors primarily rely on high-frequency noise or specific artifact features, which are easily corrupted by real-world degradations such as H.264/HEVC compression and AI post-processing. To fill this critical gap, the AINPAINT dataset contains over 25,000 video sequences manipulated using nine different generation techniques: OPN, STTN, FGVC, DSTT, CoCoCo, LDVI, FuseFormer, GMCNN, and DiffuEraser. The dataset explicitly includes variants subjected to temporal smoothing and heavy compression to simulate real-world scenarios. The core content of the dataset is paired data for the same set of source video clips (with a resolution of 432×240): 1) `input_frames`: original, unmanipulated video clips (label 0, authentic/real); 2) corresponding manipulated versions generated by the nine inpainting methods (label 1, forged); 3) `input_masks`: pixel-level ground-truth localization masks with two variants (`original` and `resized_432x240`), aligned frame-by-frame with the video clips. In terms of data scale, there are 28,080 total video instances, including 25,272 forged videos (9 methods × 9 variants × 312 videos) and 2,808 authentic videos (`input_frames` × 9 variants × 312 videos), totaling 711,148 PNG frames and 1,422,264 decoded MP4 frames. Each "container" (i.e., each inpainting technique) includes nine variants to simulate different processing pipelines: three are provided as PNG frame folders (original raw output, post-processed by the OPN temporal consistency network, and post-processed again with Deep Video Prior), and six are provided as re-compressed MP4 videos (the aforementioned PNG outputs encoded with H.264 or HEVC at a Constant Rate Factor (CRF) of 23). Only two variants of mask data are provided: `original` and `resized_432x240`. This dataset is applicable to tasks including video inpainting localization, video forensics, media authenticity verification, and deepfake detection. It is distributed as tar archives for on-demand downloading. After extraction, files are organized by `input_frames`, `input_masks`, and the names of each inpainting technique. The official code repository provides data split files for training and evaluation. The dataset has good completeness, with only 5 clips having fewer than 30 frames due to inherent source video length or specific processing (DVP). The dataset is released under the CC-BY-4.0 license.
AINPAINT 数据集概述
AINPAINT 是一个面向视频修复定位（Video Inpainting Localization）的大规模取证数据集，用于在像素级别定位视频中被修复（inpainted）的区域，相关论文发表于 Computer Vision and Image Understanding (CVIU) 2026。
核心信息
- 许可证：CC-BY-4.0（Creative Commons Attribution 4.0），但数据集为派生数据，受上游方法及源数据集的许可证约束。
- 数据类型：图像分割（image-segmentation），具体为视频修复定位任务。
- 数据规模：10K–100K 级别。总计 28,080 个视频实例，包含 25,272 个修复视频（9 种修复方法 × 9 种变体 × 312 个视频）和 2,808 个真实视频。共 711,148 张 PNG 帧和 1,422,264 个解码后的 MP4 帧。
- 分辨率：432×240。
内容构成
每个视频容器包含以下内容：
input_frames— 原始未修复的真实视频片段（标签 0）。- 9 种修复方法 — 同一视频经对象移除修复后的结果（标签 1），包括：OPN, STTN, FGVC, DSTT, CoCoCo, LDVI, FuseFormer, GMCNN, DiffuEraser。
input_masks— 像素级地面真值定位掩码，提供original和resized_432x240两个版本，与视频帧逐帧对齐。
变体与处理溯源
每个容器包含 9 个变体，涵盖 PNG 帧和重压缩 MP4 格式：
| 变体 | 类型 | 说明 |
|---|---|---|
432x240 |
PNG 帧 | 原始修复输出 |
432x240_postprocessed |
PNG 帧 | 经 OPN 时间一致性网络（TCN）进行时间平滑 |
432x240_postprocessed_dvp |
PNG 帧 | 额外经过 Deep Video Prior / IRT 处理 |
432x240_recompressed_h264 |
MP4 | H.264 重压缩（CRF 23） |
432x240_recompressed_hevc |
MP4 | HEVC 重压缩（CRF 23） |
432x240_postprocessed_recompressed_h264 |
MP4 | 时间平滑 → H.264 重压缩 |
432x240_postprocessed_recompressed_hevc |
MP4 | 时间平滑 → HEVC 重压缩 |
432x240_postprocessed_dvp_recompressed_h264 |
MP4 | 时间平滑 + DVP → H.264 重压缩 |
432x240_postprocessed_dvp_recompressed_hevc |
MP4 | 时间平滑 + DVP → HEVC 重压缩 |
input_masks 仅提供 original 和 resized_432x240 两个变体。
打包与结构
数据集以 11 个 tar 归档文件形式分发（无压缩，提取即时完成），每个归档对应一个容器：
input_frames.tar（约 11 GB）、input_masks.tar（约 0.14 GB）- 9 个修复方法归档，每个约 5.4–11.0 GB
提取后的目录布局：
DATASET_AInpaint/ ├── input_frames/ 432x240/<video_id>/0000.png ... ├── input_masks/ resized_432x240/<video_id>/0000.png └── <TECHNIQUE>/ 432x240/<video_id>/0000.png ... 432x240_recompressed_h264/<video_id>.mp4 ...
该布局与官方代码库（AINPAINT-CVIU26）的训练和评估代码兼容，可通过 --dataset_root 参数指定数据集根目录。论文的数据划分（train/val/test）在代码库的 splits/ 中提供。
完整性说明
每个（容器 × 变体）单元均包含完整的 312 个视频。仅 5 个视频片段少于 30 帧，均为源数据固有情况或 DVP 处理导致的确定性帧丢失，而非处理缺陷。
相关资源
- 论文：https://www.sciencedirect.com/science/article/pii/S107731422600233X
- 代码：https://github.com/MMLab-unitn/AINPAINT-CVIU26
- 数据集：https://huggingface.co/datasets/Truebees/AINPAINT
- 维护方：Truebees（https://www.truebees.eu/）
