image-to-video-human-preference-seedance-1-pro

Rapidata Video Generation Hailuo-02 v Marey Human Preference数据集收集了约6000个来自约2000个人类标注者的响应，用于评估Seedance 1 Pro视频生成模型。数据集包含视频对比较，每个条目包括'video1'和'video2'字段，链接到下缩略的GIF图片。数据集还包含加权结果列，包含从0到1的分数，代表聚合的用户响应。详细结果列包含单个用户响应。数据集还包含了关于对齐、连贯性和偏好评分的解释和示例。

原始信息汇总

数据集概述：seedance-1-pro Human Preferences

基本信息

• 许可证: Apache-2.0
• 语言: 英文 (en)
• 标签: videos, i2v, image-2-video, image2video, image-to-video, human, annotations, preferences, likert, coherence, alignment, style, seedance, seedance-1, seedance-1-pro
• 任务类别: video-classification, text-to-video, text-classification
• 数据集大小: 318051385.0 字节
• 下载大小: 161801984 字节
• 训练集样本数: 198

数据集特征

• prompt: 字符串类型，描述视频生成的提示词
• prompt_asset: 图像类型，与提示词相关的图像资源
• video1: 字符串类型，第一个视频的链接（低分辨率GIF）
• video2: 字符串类型，第二个视频的链接（低分辨率GIF）
• weighted_results1_Alignment: 浮点型，视频1的对齐分数（0到1）
• weighted_results2_Alignment: 浮点型，视频2的对齐分数（0到1）
• detailedResults_Alignment: 字符串列表，对齐分数的详细用户反馈
• weighted_results1_Coherence: 浮点型，视频1的连贯性分数（0到1）
• weighted_results2_Coherence: 浮点型，视频2的连贯性分数（0到1）
• detailedResults_Coherence: 字符串列表，连贯性分数的详细用户反馈
• weighted_results1_Preference: 浮点型，视频1的偏好分数（0到1）
• weighted_results2_Preference: 浮点型，视频2的偏好分数（0到1）
• detailedResults_Preference: 字符串列表，偏好分数的详细用户反馈
• file_name1: 字符串类型，视频1的文件名
• file_name2: 字符串类型，视频2的文件名
• model1: 字符串类型，生成视频1的模型名称
• model2: 字符串类型，生成视频2的模型名称

评分标准

1. 对齐分数 (Alignment)

   • 衡量视频与提示词的匹配程度。
   • 用户问题："Which video fits the description better?"

2. 连贯性分数 (Coherence)

   • 衡量视频的逻辑一致性和是否有视觉瑕疵。
   • 用户问题："Which video has more glitches and is more likely to be AI generated?"

3. 偏好分数 (Preference)

   • 衡量视频的视觉吸引力。
   • 用户问题："Which video do you prefer aesthetically?"

数据收集

• 样本量: ~6k 人类反馈
• 标注者数量: ~2k 人类标注者
• 收集工具: Rapidata Python API
• 收集时间: 约5分钟

其他信息

• 高分辨率视频: 可在 https://huggingface.co/datasets/Rapidata/image-to-video-human-preference-seedance-1-pro/tree/main/Videos 获取
• 模型排名: 可在 https://www.rapidata.ai/leaderboard/video-models 查看

搜集汇总

数据集介绍

构建方式

在视频生成模型评估领域，image-to-video-human-preference-seedance-1-pro数据集通过大规模人类标注构建而成。该数据集采用Rapidata Python API高效采集了约6000份人类反馈，涉及2000余名标注者在5分钟内完成的评估工作。数据构建采用成对视频比较范式，每个样本包含两段生成视频及其对应的提示词图像，通过Likert量表量化收集对齐度、连贯性和审美偏好三个维度的评分，同时保留原始标注细节以供深入分析。

特点

该数据集的核心价值在于其多维度的细粒度评估体系。不仅包含视频对的基础元数据，更通过加权评分（0-1范围）和原始标注记录完整保留人类判断过程。独特的提示词图像字段为研究图文一致性提供直观依据，而分列的模型标识符支持跨模型性能对比。数据涵盖198个样本，每个样本均经过严格的多维度标注，形成对Seedance 1 Pro模型全面而立体的评估框架。

使用方法

研究者可通过HuggingFace平台直接获取该数据集，其中视频数据以GIF格式提供快速预览，完整分辨率版本需访问指定存储库。典型应用包括：通过weighted_results字段进行模型性能量化分析，利用detailedResults开展标注者间一致性研究，或结合prompt_asset探究图文生成一致性规律。该数据集特别适合视频生成模型的对抗评估、人类偏好建模等研究方向，其标准化数据结构可直接接入主流机器学习框架进行自动化分析。

背景与挑战

背景概述

image-to-video-human-preference-seedance-1-pro数据集由Rapidata机构构建，旨在通过大规模人类标注反馈评估视频生成模型Seedance 1 Pro的性能。该数据集聚焦于图像到视频生成领域，通过量化分析生成视频与提示词的匹配度（Alignment）、逻辑连贯性（Coherence）以及视觉美感（Preference）三个核心维度，为视频生成模型的优化提供数据支持。数据集包含约6千条人类标注反馈，由2千余名标注者在短时间内通过Rapidata Python API完成采集，体现了高效的大规模数据标注能力。该工作推动了生成式视频模型评估从主观定性向客观定量的范式转变，为相关研究提供了重要的基准数据。

当前挑战

该数据集需解决视频生成模型评估中三个关键挑战：一是如何准确量化生成内容与文本提示的语义对齐度，这涉及复杂的多模态理解；二是如何定义并检测视频中的逻辑连贯性问题，需区分技术缺陷与内容不合理性；三是如何建立跨文化审美的客观评价标准，避免主观偏差。在构建过程中，面临标注一致性控制、大规模视频数据存储与传输效率、以及动态视频质量评估框架设计等工程挑战。此外，快速采集的标注数据还需平衡效率与质量，确保统计显著性。

常用场景

经典使用场景

在视频生成模型的评估与优化领域，image-to-video-human-preference-seedance-1-pro数据集通过大规模人类偏好标注，为模型输出质量提供了多维度的量化标准。其典型应用场景包括对比不同视频生成模型在语义对齐度、画面连贯性和美学偏好等维度的表现差异，例如通过198组双路视频对比数据，研究者可分析Seedance 1 Pro与Hailuo-02等模型在动态场景还原能力上的优劣。

解决学术问题

该数据集有效解决了生成式视频质量评估中主观性强的核心难题。通过6K+人类标注者构建的加权评分体系，将传统难以量化的视觉偏好转化为可计算的Alignment（0.9）、Coherence（0.15）等指标，为视频生成模型的客观评估建立了新范式。其细粒度的detailedResults字段更支持对模型缺陷的归因分析，如特定场景下的动态失真问题。

衍生相关工作

基于该数据集构建的评估方法论已衍生出多项重要研究，包括Rapidata团队开发的视频生成模型基准测试框架，以及融合多模态反馈的强化学习训练系统。其标注范式更被扩展应用于文本-视频对齐数据集（text-2-video-Rich-Human-Feedback）等衍生项目中，形成了跨模态生成评估的标准体系。