RaphaelLiu/EvalCrafter_T2V_Dataset

---
license: apache-2.0
---

# EvalCrafter Text-to-Video (ECTV) Dataset 🎥📊

[Code](https://github.com/EvalCrafter/EvalCrafter) · [Project Page](http://evalcrafter.github.io) · [Huggingface Leaderboard](https://huggingface.co/spaces/AILab-CVC/EvalCrafter) · [Paper@ArXiv](https://arxiv.org/abs/2310.11440) · [Prompt list](https://github.com/evalcrafter/EvalCrafter/blob/master/prompt700.txt)

Welcome to the ECTV dataset! This repository contains around 10000 videos generated by various methods using the [Prompt list](https://github.com/evalcrafter/EvalCrafter/blob/master/prompt700.txt). These videos have been evaluated using the innovative EvalCrafter framework, which assesses generative models across visual, content, and motion qualities using 17 objective metrics and subjective user opinions.

## Dataset Details 📚

- **Paper:** [Read the Paper](https://arxiv.org/abs/2310.11440)
- **Code:** [Code](https://github.com/EvalCrafter/EvalCrafter)
- **Prompt List (700 prompts):** [Prompt list](https://github.com/evalcrafter/EvalCrafter/blob/master/prompt700.txt)
- **Hugging Face Leaderboard:** [Huggingface Leaderboard](https://huggingface.co/spaces/AILab-CVC/EvalCrafter)
- **Project Page:** [Project Page](http://evalcrafter.github.io)
- **Methods Included in ECTV dataset:**
- [VideoCrafter2](https://github.com/AILab-CVC/VideoCrafter)
- [VideoCrafter1](https://github.com/AILab-CVC/VideoCrafter)
- [VideoCrafter0.9 (Floor33)](http://floor33.tech/)
- [Gen2-2023.12](https://research.runwayml.com/gen2)
- [Gen2-2023.09](https://research.runwayml.com/gen2)
- [PikaLab V1.0](https://pika.art/)
- [PikaLab](https://www.pika.art/)
- [Hotshot-XL](https://research.runwayml.com/gen2)
- [Show-1](https://research.runwayml.com/gen2)
- [Modelscope-XL](https://modelscope.cn/models/damo/Image-to-Video/summary)
- [Zeroscope](https://huggingface.co/cerspense)
- [Lavie](https://github.com/Vchitect/LaVie)
- [MoonValley](https://moonvalley.ai/)
- **Dataset Structure:**
Generate videos are organized in the following structure (take videocrafter-v1.0 for an example)
```
./videocrafter-v1.0.tar.gz/videocrafter-v1.0/
├── 0000.mp4
├── 0001.mp4
├── 0002.mp4
├── 0003.mp4
├── 0004.mp4
...
└── 0699.mp4
```

## Acknowledgements and Citation 🙏

This dataset is based on the EvalCrafter framework, which utilizes various open-source repositories for video generation evaluation. If you find this dataset helpful, please consider citing the original work:

```bash
@article{liu2023evalcrafter,
title={Evalcrafter: Benchmarking and evaluating large video generation models},
author={Liu, Yaofang and Cun, Xiaodong and Liu, Xuebo and Wang, Xintao and Zhang, Yong and Chen, Haoxin and Liu, Yang and Zeng, Tieyong and Chan, Raymond and Shan, Ying},
journal={arXiv preprint arXiv:2310.11440},
year={2023}
}
```

## Explore More About Video Generation:

- [VideoCrafter1: Open Diffusion Models for High-Quality Video Generation](https://github.com/AILab-CVC/VideoCrafter)
- [VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models](https://github.com/AILab-CVC/VideoCrafter)

--- 许可证：Apache-2.0 ---

# EvalCrafter 文本到视频（ECTV）数据集 🎥📊

[代码](https://github.com/EvalCrafter/EvalCrafter) · [项目主页](http://evalcrafter.github.io) · [Hugging Face 排行榜](https://huggingface.co/spaces/AILab-CVC/EvalCrafter) · [论文@ArXiv](https://arxiv.org/abs/2310.11440) · [提示词列表（Prompt list）](https://github.com/evalcrafter/EvalCrafter/blob/master/prompt700.txt)

欢迎使用ECTV数据集！本仓库包含约10000段由多种方法基于[提示词列表](https://github.com/evalcrafter/EvalCrafter/blob/master/prompt700.txt)生成的视频。这些视频已通过创新的EvalCrafter框架进行评估，该框架通过17项客观指标（objective metrics）与主观用户评价（subjective user opinions），从视觉质量、内容质量与运动质量三个维度对生成式模型（generative models）进行评测。

## 数据集详情 📚

- **论文**：[阅读论文](https://arxiv.org/abs/2310.11440)
- **代码**：[代码](https://github.com/EvalCrafter/EvalCrafter)
- **提示词列表（共700条提示）**：[提示词列表](https://github.com/evalcrafter/EvalCrafter/blob/master/prompt700.txt)
- **Hugging Face 排行榜**：[Hugging Face 排行榜](https://huggingface.co/spaces/AILab-CVC/EvalCrafter)
- **项目主页**：[项目主页](http://evalcrafter.github.io)
- **ECTV数据集包含的生成方法**：
- VideoCrafter2 (https://github.com/AILab-CVC/VideoCrafter)
- VideoCrafter1 (https://github.com/AILab-CVC/VideoCrafter)
- VideoCrafter0.9 (Floor33) (http://floor33.tech/)
- Gen2-2023.12 (https://research.runwayml.com/gen2)
- Gen2-2023.09 (https://research.runwayml.com/gen2)
- PikaLab V1.0 (https://pika.art/)
- PikaLab (https://www.pika.art/)
- Hotshot-XL (https://research.runwayml.com/gen2)
- Show-1 (https://research.runwayml.com/gen2)
- Modelscope-XL (https://modelscope.cn/models/damo/Image-to-Video/summary)
- Zeroscope (https://huggingface.co/cerspense)
- Lavie (https://github.com/Vchitect/LaVie)
- MoonValley (https://moonvalley.ai/)
- **数据集结构**：
生成的视频按如下结构组织（以videocrafter-v1.0为例）

./videocrafter-v1.0.tar.gz/videocrafter-v1.0/
├── 0000.mp4
├── 0001.mp4
├── 0002.mp4
├── 0003.mp4
├── 0004.mp4
...
└── 0699.mp4

## 致谢与引用 🙏

本数据集基于EvalCrafter框架构建，该框架依托多种开源仓库（open-source repositories）实现视频生成模型（video generation models）的评估。若您认为本数据集对您的研究有所帮助，请引用如下原文献：
bash
@article{liu2023evalcrafter,
title={Evalcrafter: Benchmarking and evaluating large video generation models},
author={Liu, Yaofang and Cun, Xiaodong and Liu, Xuebo and Wang, Xintao and Zhang, Yong and Chen, Haoxin and Liu, Yang and Zeng, Tieyong and Chan, Raymond and Shan, Ying},
journal={arXiv preprint arXiv:2310.11440},
year={2023}
}

## 更多视频生成相关资源：

- [VideoCrafter1：面向高质量视频生成的开源扩散模型](https://github.com/AILab-CVC/VideoCrafter)
- [VideoCrafter2：突破高质量视频扩散模型的数据瓶颈](https://github.com/AILab-CVC/VideoCrafter)

原始信息汇总

EvalCrafter Text-to-Video (ECTV) Dataset 🎥📊

数据集详情 📚

• 论文: 阅读论文

• 代码: 代码

• 提示列表 (700 个提示): 提示列表

• Hugging Face 排行榜: Huggingface Leaderboard

• 项目页面: 项目页面

• ECTV 数据集中包含的方法:

  • VideoCrafter2
  • VideoCrafter1
  • VideoCrafter0.9 (Floor33)
  • Gen2-2023.12
  • Gen2-2023.09
  • PikaLab V1.0
  • PikaLab
  • Hotshot-XL
  • Show-1
  • Modelscope-XL
  • Zeroscope
  • Lavie
  • MoonValley

• 数据集结构: 生成的视频按照以下结构组织（以 videocrafter-v1.0 为例）

  ./videocrafter-v1.0.tar.gz/videocrafter-v1.0/ ├── 0000.mp4 ├── 0001.mp4 ├── 0002.mp4 ├── 0003.mp4 ├── 0004.mp4 ... └── 0699.mp4

致谢和引用 🙏

该数据集基于 EvalCrafter 框架，该框架利用各种开源仓库进行视频生成评估。如果您发现此数据集有帮助，请考虑引用原始工作：

bash @article{liu2023evalcrafter, title={Evalcrafter: Benchmarking and evaluating large video generation models}, author={Liu, Yaofang and Cun, Xiaodong and Liu, Xuebo and Wang, Xintao and Zhang, Yong and Chen, Haoxin and Liu, Yang and Zeng, Tieyong and Chan, Raymond and Shan, Ying}, journal={arXiv preprint arXiv:2310.11440}, year={2023} }

搜集汇总

数据集介绍

构建方式

EvalCrafter_T2V_Dataset（简称ECTV）是一个面向文本到视频生成模型评估的综合性数据集。该数据集基于700条精心设计的提示词（Prompt List），通过调用包括VideoCrafter、Gen2、PikaLab、Hotshot-XL、Show-1、Modelscope-XL、Zeroscope、Lavie、MoonValley在内的13种主流视频生成方法，生成了约10,000个视频样本。每个视频文件以提示词对应的编号命名，并按照生成方法分类存储于独立的压缩包中，构建过程严格遵循EvalCrafter框架的评估协议，确保了数据的系统性与可复现性。

使用方法

该数据集的使用方式便捷且灵活。用户可直接从HuggingFace下载对应生成方法的tar.gz压缩包，解压后按编号索引视频文件，结合配套的提示词列表进行对比分析。对于需要复现评估流程的研究者，可参照EvalCrafter开源代码库中的评估脚本，加载数据集中的视频与对应提示词，运行17项客观指标计算及主观测试，从而获得标准化的模型性能报告。同时，数据集也支持用户自定义指标或扩展评估维度，适用于更广泛的视频生成研究场景。

背景与挑战

背景概述

随着深度学习技术的飞速发展，文本到视频（Text-to-Video, T2V）生成模型近年来取得了令人瞩目的突破，涌现出诸如VideoCrafter、Gen2、PikaLab等一系列代表性方法。然而，如何系统性地评估这些模型在视觉质量、内容一致性及运动流畅性等多个维度的综合表现，成为制约该领域进一步发展的关键瓶颈。在此背景下，由Yaofang Liu、Xiaodong Cun等研究人员于2023年提出的EvalCrafter框架及其配套的EvalCrafter_T2V_Dataset应运而生。该数据集汇集了来自13种不同T2V模型、基于700条精心设计提示词生成的近万段视频，并融合了17项客观指标与主观用户评价，构建了首个大规模、多维度的T2V模型评估基准。该工作发表于arXiv，并提供了公开排行榜，对推动视频生成模型的标准化评测与公平比较具有重要影响力。

当前挑战

该数据集所应对的核心挑战在于T2V领域长期缺乏统一的、覆盖全面的评测体系。具体而言，挑战包括：1）领域问题层面，现有评估多局限于单一维度（如图像质量）或依赖人工主观评分，难以客观反映视频生成中运动动态、时序连贯性、语义对齐等复杂特性，亟需一套融合视觉保真度、内容相关性及动作自然度的综合量化方案；2）构建过程层面，不同模型生成的视频在分辨率、帧率、风格上差异显著，统一对比困难；同时，700条提示词需兼顾语义多样性、动作描述及场景复杂度，以覆盖真实应用场景；此外，收集多模型、多提示的大规模视频数据并进行标准化存储与标注，对计算资源与存储管理提出了极高要求。

常用场景

经典使用场景

在文本到视频生成领域，EvalCrafter_T2V_Dataset成为评估生成模型综合性能的标杆性资源。该数据集囊括了由VideoCrafter、Gen2、PikaLab等十多种前沿模型基于700条精心设计的提示词所生成的近万条视频，覆盖了视觉质量、内容一致性及运动动态等多个维度。研究者常利用此数据集结合17项客观指标与主观用户意见，系统性地对比不同模型在复杂文本描述下的视频生成能力，从而揭示各模型在语义对齐、画面保真度与时间连贯性等方面的优劣。

解决学术问题

该数据集的核心价值在于解决了视频生成模型评估标准碎片化与主观性强这一长期困扰学术界的难题。通过提供标准化的视频样本库与多维度的量化评估框架，EvalCrafter_T2V_Dataset使得研究者能够摆脱依赖零散指标或小规模人工评测的局限，从而在大规模、可复现的条件下衡量生成模型的真实水平。这有力推动了视频生成领域从定性展示向定量分析的范式转变，为模型改进与理论突破奠定了坚实的实验基础。

实际应用

在实际应用中，该数据集为视频生成技术的商业化落地提供了可靠的性能验证工具。企业可借助EvalCrafter_T2V_Dataset对自家模型与竞品进行横向对比，精准定位在广告创意、影视预可视化、虚拟内容生产等场景中的优化方向。例如，广告公司可通过分析数据集中的运动质量指标，筛选出在动态场景下表现最佳的模型，以生成更具感染力的短视频内容，从而提升营销效率与用户体验。

数据集最近研究

最新研究方向

在视频生成技术迅猛发展的当下，EvalCrafter_T2V_Dataset作为一项突破性基准资源，聚焦于文本到视频（T2V）生成模型的系统性评估。该数据集包含约一万个由多种前沿方法生成的视频样本，覆盖了从VideoCrafter系列到Gen2、PikaLab等商业与开源模型，并依托EvalCrafter框架创新性地融合了17项客观指标与主观用户评测，从视觉质量、内容一致性和运动逼真度等维度进行全方位衡量。这一研究方向紧密关联着多模态生成领域的热点事件，如扩散模型在视频合成中的大规模应用，以及学术界对生成内容真实性与多样性评估标准的迫切需求。EvalCrafter_T2V_Dataset的发布不仅为模型对比提供了标准化平台，更推动了视频生成技术向更可控、更可信赖的方向演进，对后续研究中的模型优化、鲁棒性测试及跨模态理解具有深远意义。