TIGER-Lab/VideoScore-Bench

VideoFeedback-Bench数据集来源于四个基准或数据集：VideoFeedback、EvalCrafter、GenAI-Bench和VBench。每个子数据集包含不同的特征，如id、images、conversations、score_list等，并且每个子数据集都有一个测试集分割。

VideoFeedback-Bench is derived from four benchmarks or datasets: VideoFeedback, EvalCrafter, GenAI-Bench and VBench. Each sub-dataset contains different features such as id, images, conversations, score_list, etc., and each sub-dataset has a test split.

原始信息汇总

数据集概述

数据集配置

eval_crafter

• 特征:
  • id: 字符串
  • images: 字符串序列
  • conversations: 列表，包含 from（字符串）和 value（字符串）
  • score_list: 浮点数序列
• 分割:
  • test: 2541个样本，7275877字节
• 下载大小: 1153703字节
• 数据集大小: 7275877字节

genaibench

• 特征:
  • id: 字符串
  • images: 字符串序列
  • score_list: 整数序列
  • conversations: 列表，包含 from（字符串）和 value（字符串）
  • preference: 浮点数
• 分割:
  • test: 2138个样本，3847467字节
• 下载大小: 312979字节
• 数据集大小: 3847467字节

vbench

• 特征:
  • id: 字符串
  • images: 字符串序列
  • score_list: 整数序列
  • conversations: 列表，包含 from（字符串）和 value（字符串）
  • preference: 结构体，包含 cogvideo（浮点数）、lavie（浮点数）、modelscope（浮点数）、videocraft（浮点数）
• 分割:
  • test: 2000个样本，4743330字节
• 下载大小: 340207字节
• 数据集大小: 4743330字节

video_feedback

• 特征:
  • id: 字符串
  • images: 字符串序列
  • text prompt: 字符串
  • video link: 字符串
  • visual quality: 整数
  • temporal consistency: 整数
  • dynamic degree: 整数
  • text-to-video alignment: 整数
  • factual consistency: 整数
  • conversations: 列表，包含 from（字符串）和 value（字符串）
• 分割:
  • test: 760个样本，1481750字节
• 下载大小: 264137字节
• 数据集大小: 1481750字节

数据文件路径

• eval_crafter: eval_crafter/test-*
• genaibench: genaibench/test-*
• vbench: vbench/test-*
• video_feedback: video_feedback/test-*

搜集汇总

数据集介绍

构建方式

在视频生成质量评估领域，构建一个能够模拟人类细粒度反馈的基准数据集至关重要。TIGER-Lab/VideoScore-Bench数据集融合了四个权威来源：VideoFeedback、EvalCrafter、GenAI-Bench和VBench，从而形成多维度评估体系。每个子数据集均以测试集形式组织，其中EvalCrafter包含2541个样本，涵盖图像序列、对话记录及评分列表；GenAI-Bench提供2138个样本，包含偏好分数；VBench整合2000个样本，包含来自多个模型的偏好结构；VideoFeedback则包含760个样本，针对视觉质量、时间一致性、动态程度、文本对齐和事实一致性五个维度进行评分。数据以Apache-2.0许可发布，确保广泛可用性。

使用方法

使用VideoScore-Bench数据集时，可通过HuggingFace Datasets库直接加载。用户需指定配置名称（如'eval_crafter'、'genaibench'、'vbench'或'video_feedback'）以访问特定子集。每个配置均以'test'分割形式提供，数据以Parquet格式存储。加载后，可提取图像序列、评分列表和对话记录等字段，用于评估视频生成模型的视觉质量、时间一致性等指标。建议结合VideoScore评估工具进行自动化评分，或利用人类反馈数据进行模型调优。数据集结构清晰，支持直接用于模型性能对比和细粒度分析研究。

背景与挑战

背景概述

随着视频生成技术的迅猛发展，如何客观且细致地评估生成视频的质量成为学术界与工业界共同关注的核心议题。在此背景下，TIGER-Lab于2024年发布了VideoScore-Bench数据集，由Xuan He、Dongfu Jiang、Wenhu Chen等研究人员共同构建，旨在为视频生成评估提供标准化的基准。该数据集整合了VideoFeedback、EvalCrafter、GenAI-Bench和VBench四个权威来源，覆盖了从视觉质量、时间一致性到动态程度与文本-视频对齐等多维度的细粒度评价指标，为自动化评估模型的训练与验证奠定了坚实基础。VideoScore-Bench的问世，填补了现有视频评估基准在全面性与精细度上的空白，对推动视频生成领域的科学评价体系构建具有里程碑式的影响。

当前挑战

VideoScore-Bench所应对的核心挑战在于视频生成评估的多维度复杂性。首先，生成视频的质量涉及视觉保真度、时序连贯性、动态合理性以及语义对齐等多个相互交织的方面，单一指标难以全面反映人类感知，亟需构建能够模拟细粒度人类反馈的自动化评估体系。其次，在数据构建过程中，从不同来源整合评测样本面临标注标准不一致、评分尺度差异等问题，需进行精细的数据对齐与归一化处理。此外，数据集中各子集样本量不均（如VideoFeedback仅760例，而EvalCrafter达2541例），如何在有限样本下保证评估模型的泛化能力与鲁棒性，同样构成显著挑战。

常用场景

经典使用场景

在视频生成质量评估领域，VideoScore-Bench数据集被广泛用作多维度细粒度评测的黄金标准。它融合了EvalCrafter、GenAI-Bench、VBench与VideoFeedback四大基准，覆盖视觉质量、时序一致性、动态程度、文视频对齐及事实一致性等关键维度，为研究者提供了一个统一且全面的测试平台。通过该数据集，研究人员能够系统性地对比不同视频生成模型在各维度上的表现，从而精准定位模型优劣，推动生成式视频技术的迭代与优化。

解决学术问题

VideoScore-Bench有效解决了视频生成领域缺乏标准化、多维度自动化评估指标的学术困境。传统评估方法往往依赖单一指标或人工反馈，难以全面反映生成视频的复杂质量特征。该数据集通过整合多个权威基准并提供细粒度评分，使得研究者能够客观量化模型在视觉保真度、时序流畅性、语义对齐等方面的表现，从而推动自动化评估指标的发展，为视频生成模型的横向对比与纵向演进提供了坚实的实验基础。

实际应用

在实际应用中，VideoScore-Bench为视频生成技术从实验室走向产业落地提供了质量把控的标尺。内容创作平台可借助该数据集训练的自动评估模型，快速筛选出高视觉质量与高语义一致性的生成视频，提升用户体验。影视制作、广告创意与虚拟现实等领域，能够利用其多维度评分体系，对生成内容进行精细化调优，确保输出符合专业标准。此外，该数据集还支持文生视频服务的质量监控，助力企业构建可靠的内容生产流水线。

数据集最近研究

最新研究方向

在视频生成技术迅猛发展的当下，如何精准评估生成视频的质量成为该领域的前沿焦点。VideoScore-Bench数据集应运而生，它整合了VideoFeedback、EvalCrafter、GenAI-Bench和VBench等多个权威基准，构建了一个涵盖视觉质量、时间一致性、动态程度、文本-视频对齐及事实一致性等多维度的精细评估体系。该数据集的最新研究方向聚焦于利用大规模人类反馈来训练自动化评估指标，其核心目标是通过模拟细粒度的人类评判，克服传统评估方法在主观性和维度覆盖上的局限。这一探索不仅为视频生成模型提供了更可靠的性能标尺，还推动了生成式AI在影视制作、虚拟现实等热点应用中的可信度与实用价值，对提升生成内容的整体质量与用户体验具有深远意义。