tonyhong/vwp

Visual Writing Prompts (VWP) 数据集旨在促进基于图像序列生成故事的自然语言处理模型的开发和测试。该数据集包含近2000个精心挑选的电影镜头序列，每个序列包含5到10张图像，这些图像被精心选择以确保它们围绕一个或多个主要角色描绘连贯的情节，增强了故事生成的视觉叙事结构。与这些图像序列对齐的是大约12000个故事，这些故事是由亚马逊Mechanical Turk上的众包工人编写的。这种设置旨在提供一个丰富的、视觉上扎根的讲故事背景，帮助模型生成更连贯、多样化和引人入胜的故事。

The Visual Writing Prompts (VWP) dataset is designed to facilitate the development and testing of natural language processing models that generate stories based on sequences of images. This dataset comprises nearly 2,000 curated sequences of movie shots, each sequence containing between 5 to 10 images. These images are meticulously selected to ensure they depict coherent plots centered around one or more main characters, enhancing the visual narrative structure for story generation. Aligned with these image sequences are approximately 12,000 stories, which were written by crowd workers using Amazon Mechanical Turk. This setup aims to provide a rich, visually grounded storytelling context that helps models generate more coherent, diverse, and engaging stories.

原始信息汇总

Visual Writing Prompts Dataset (VWP) 概述

基本信息

• 任务类别：
  • image-to-text
  • text-generation
• 语言：
  • en
• 许可证：
  • apache-2.0
• 多语言性：
  • monolingual
• 标签：
  • story
  • multimodal
  • nlg
  • generation
  • storytelling
  • multimodality
  • narrative
  • movie-shot
• 数据集大小：
  • 10K<n<100K

数据集描述

• 设计目的： 用于开发和测试基于图像序列生成故事的自然语言处理模型。
• 数据组成：
  • 约2,000个精选的电影镜头序列，每个序列包含5至10张图像。
  • 与这些图像序列对应的约12,000个故事，由众包工作者编写。
• 数据来源：
  • 图像序列来自MovieNet数据集。
  • 故事由众包工作者编写，并由作者团队编译和精炼。

数据集结构

• 文件格式：CSV
• 文件详情：
  • train: vwp_v2.0_train.csv
  • val: vwp_v2.0_val.csv
  • test: vwp_v2.0_test.csv
• 列解释：参见 column_explain.csv

使用场景

• 直接用途：
  • 用于自然语言处理任务，特别是开发和评估从图像序列生成连贯且视觉上基于故事的模型。
• 超出范围的使用：
  • 图像版权属于原始版权持有者，仅限学术用途。

数据集创建

• 采集和处理：
  • 图像序列从MovieNet数据集中提取，确保围绕一个或多个主要角色的连贯情节。
  • 故事由众包工作者编写，并经过审查以确保与图像的连贯性和正确性。
• 注释者：
  • 五名来自Saarland大学的研究生，其中两名是英语母语者。

注意事项

• 语言限制：数据集仅包含英语内容。
• 潜在偏见和风险：尽管已尽力过滤和审查，但可能仍存在偏见或有害内容。

引用信息

• 作者：Xudong Hong, Asad Sayeed, Khushboo Mehra, Vera Demberg, Bernt Schiele
• 出版物：Transactions of the Association for Computational Linguistics, 2023
• BibTeX： latex @article{10.1162/tacl_a_00553, author = {Hong, Xudong and Sayeed, Asad and Mehra, Khushboo and Demberg, Vera and Schiele, Bernt}, title = "{Visual Writing Prompts: Character-Grounded Story Generation with Curated Image Sequences}", journal = {Transactions of the Association for Computational Linguistics}, volume = {11}, pages = {565-581}, year = {2023}, month = {06}, issn = {2307-387X}, doi = {10.1162/tacl_a_00553}, url = {https://doi.org/10.1162/tacl\_a\_00553}, eprint = {https://direct.mit.edu/tacl/article-pdf/doi/10.1162/tacl\_a\_00553/2134487/tacl\_a\_00553.pdf}, }

搜集汇总

数据集介绍

构建方式

视觉写作提示数据集（VWP）的构建源于对多模态叙事生成任务的深度探索。该数据集从MovieNet数据库中精心提取了近2000组电影镜头序列，每组包含5至10帧连贯图像，确保围绕一个或多个主要角色展开情节。随后，通过亚马逊土耳其机器人平台招募众包工作者，依据这些图像序列及最多五个已标注的角色信息，撰写了约12000篇英文故事。故事经过五位萨尔大学研究生（含两位母语者）的严格审核，以确保其连贯性、语法正确性与图像对齐度，最终形成这一结构化的多模态语料库。

特点

VWP数据集的核心特色在于其高度结构化的视觉叙事框架与角色锚定机制。图像序列源自专业电影镜头，天然具备情节连贯性与角色一致性，为故事生成提供了坚实的视觉基础。众包故事则覆盖多样化的叙事风格，丰富了文本多样性。数据集以CSV格式存储，包含清晰的列字段说明，便于解析。其Apache 2.0许可协议支持学术研究，但图像版权归属原始电影公司，仅限非商业用途，这一伦理考量体现了对知识产权的尊重。

使用方法

该数据集主要面向自然语言处理与多模态生成任务，尤其适用于训练和评估基于图像序列的文本故事生成模型。用户可通过HuggingFace平台直接加载预划分的训练、验证与测试集（CSV文件），利用图像路径与对应故事文本进行监督学习。典型应用包括构建编码器-解码器架构，将视觉特征映射为叙事文本，或作为基准测试集评估模型在角色锚定与情节连贯性上的表现。使用时需注意图像版权限制，仅限学术目的，并避免生成有害或偏见内容。

背景与挑战

背景概述

视觉叙事与多模态故事生成是自然语言处理领域的前沿方向，旨在弥合视觉信息与语言生成之间的鸿沟。在此背景下，由Xudong Hong、Asad Sayeed、Khushboo Mehra、Vera Demberg及Bernt Schiele等研究人员于2023年共同创建的视觉写作提示数据集（VWP），为基于图像序列的角色驱动故事生成提供了关键资源。该数据集精心挑选了近2000组电影镜头序列，每组包含5至10张连贯图像，并由众包工作者依据序列中的角色撰写约12000个英文故事。其核心研究问题在于如何利用视觉线索与角色锚定提升生成故事的连贯性与多样性。论文发表于《Transactions of the Association for Computational Linguistics》（TACL），自发布以来，VWP数据集已成为多模态故事生成领域的重要基准，推动了模型在视觉叙事理解与生成能力上的评估与改进。

当前挑战

VWP数据集所面临的挑战首先体现在领域问题的复杂性上：故事生成需同时处理图像序列的时序逻辑、角色一致性以及语言表达的创造性，这远超传统图像描述或单句生成任务，要求模型具备跨模态推理与长文本规划能力。其次，构建过程中存在多重困难：从MovieNet数据集中提取电影镜头序列时，需确保每段序列具有连贯的叙事主线与明确的主角，筛选工作依赖人工判断且耗时巨大；众包收集的故事虽经审核，但受限于标注者背景，仍可能存在文化偏见或语法偏差；此外，图像版权归属复杂，数据集仅限学术用途，限制了其推广与商业应用。这些挑战共同构成了VWP在促进鲁棒且通用的视觉故事生成模型发展中的核心障碍。

常用场景

经典使用场景

Visual Writing Prompts (VWP) 数据集被广泛用于多模态叙事生成领域，其核心场景是基于图像序列的自动故事创作。该数据集包含近2000组精心挑选的电影镜头序列，每组包含5至10幅连贯图像，并配以约12000条由众包工作者撰写的英文故事。研究者利用这些数据训练模型，使其能够理解视觉信息中的情节逻辑与角色关系，从而生成与图像内容高度契合、结构完整的叙事文本，推动了视觉故事生成任务从简单描述向复杂情节构建的跨越。

解决学术问题

该数据集有效解决了多模态故事生成中视觉与文本对齐困难、情节连贯性不足及角色锚定薄弱等关键学术问题。通过提供具有清晰叙事线索的图像序列和角色标注，VWP 为模型学习如何从视觉输入中提取事件顺序、因果关系及角色行为模式提供了基准。其意义在于首次系统性地将“角色锚定”引入视觉故事生成，促进了模型从静态场景理解转向动态叙事推理，显著提升了生成故事的逻辑一致性与多样性，为后续研究奠定了数据与方法基础。

衍生相关工作

VWP 数据集催生了一系列经典研究工作，包括基于Transformer的视觉故事生成模型、角色感知的叙事规划框架以及多模态预训练方法在故事生成中的适配。例如，研究者提出将图像序列编码为结构化事件图，再结合角色嵌入进行故事解码，显著提升了生成内容的角色一致性。另有工作探索对比学习在视觉叙事中的应用，利用VWP的成对数据强化图像与文本的语义对齐。这些衍生工作不仅深化了对多模态叙事机理的理解，也推动了图像描述、视频理解等关联领域的进展。