AIGVE-Bench
收藏资源简介：
AIGVE-Bench是一个多方面的AI生成视频评估基准，包含大规模、人工注释的视频内容，用于从技术质量、动态性、一致性、物理性、元素存在性、元素质量、动作/交互存在性、动作/交互质量以及整体质量等九个关键维度对AI生成的视频内容进行评估。
AIGVE-Bench is a multi-faceted AI-generated video evaluation benchmark that encompasses large-scale, manually annotated video content, and is tailored to evaluate AI-generated video content across nine critical dimensions: technical quality, dynamism, consistency, physical plausibility, element existence, element quality, action/interaction existence, action/interaction quality, and overall quality.
AIGVE-Bench 数据集概述
基本信息
- 许可证: Apache-2.0
- 任务类别: 视频分类
- 语言: 英语
- 标签: 视频
数据集简介
AIGVE-Bench 是一个大规模、人工标注的基准数据集，用于评估AI生成的视频内容。该数据集包含：
- 500 个多样化提示
- 2,430 个由 5个先进模型（Sora, Hunyuan, Pyramid, CogVideoX, Genmo）生成的视频
- 21,870 个细粒度人工评估分数，涵盖 9个不同维度
评估指标
| 指标 | 描述 |
|---|---|
| Technical Quality | 评估视频的技术质量，包括分辨率、颜色自然度和噪声/伪影 |
| Dynamic | 测量视频中的像素变化程度，关注对象或相机运动及环境变化 |
| Consistency | 评估视频中对象属性的持续性，避免闪烁或意外变化 |
| Physics | 确定场景是否遵循物理定律，确保对象行为和交互符合现实 |
| Element Presence | 检查视频中是否包含所有指令中提到的对象 |
| Element Quality | 评估视频中对象的真实感和保真度 |
| Action/Interaction Presence | 评估视频中是否准确呈现所有指令中描述的动作和交互 |
| Action/Interaction Quality | 测量动作和交互的自然度和流畅度 |
| Overall | 综合评估视频的整体质量 |
数据集结构
每个条目包含：
Prompt: 生成视频的手工制作指令Model: 使用的生成模型video_path: 视频文件名（如sora_0.mp4）- 9个数值分数，对应上述评估指标
视频下载
所有视频文件命名格式为 {model_id}_{id}.mp4（如 sora_0.mp4），可通过以下链接下载完整视频集：
🔗 https://huggingface.co/datasets/xiaoliux/AIGVE-Bench/resolve/main/AIGVE-Bench%20Videos.zip
相关资源
- 项目网站: https://www.aigve.org
- 论文: AIGVE-Tool: AI-Generated Video Evaluation Toolkit with Multifaceted Benchmark
引用
bibtex @article{xiang2025aigve, title={AIGVE-Tool: AI-Generated Video Evaluation Toolkit with Multifaceted Benchmark}, author={Xiang, Xinhao and Liu, Xiao and Li, Zizhong and Liu, Zhuosheng and Zhang, Jiawei}, journal={arXiv preprint arXiv:2503.14064}, year={2025} }
