tonyhong/vwp

Visual Writing Prompts (VWP) 数据集旨在促进基于图像序列生成故事的自然语言处理模型的开发和测试。该数据集包含近2000个精心挑选的电影镜头序列，每个序列包含5到10张图像，这些图像被精心选择以确保它们围绕一个或多个主要角色描绘连贯的情节，增强了故事生成的视觉叙事结构。与这些图像序列对齐的是大约12000个故事，这些故事是由亚马逊Mechanical Turk上的众包工人编写的。这种设置旨在提供一个丰富的、视觉上扎根的讲故事背景，帮助模型生成更连贯、多样化和引人入胜的故事。

The Visual Writing Prompts (VWP) dataset is designed to facilitate the development and testing of natural language processing models that generate stories based on sequences of images. This dataset comprises nearly 2,000 curated sequences of movie shots, each sequence containing between 5 to 10 images. These images are meticulously selected to ensure they depict coherent plots centered around one or more main characters, enhancing the visual narrative structure for story generation. Aligned with these image sequences are approximately 12,000 stories, which were written by crowd workers using Amazon Mechanical Turk. This setup aims to provide a rich, visually grounded storytelling context that helps models generate more coherent, diverse, and engaging stories.

原始信息汇总

Visual Writing Prompts Dataset (VWP) 概述

基本信息

• 任务类别：
  • image-to-text
  • text-generation
• 语言：
  • en
• 许可证：
  • apache-2.0
• 多语言性：
  • monolingual
• 标签：
  • story
  • multimodal
  • nlg
  • generation
  • storytelling
  • multimodality
  • narrative
  • movie-shot
• 数据集大小：
  • 10K<n<100K

数据集描述

• 设计目的： 用于开发和测试基于图像序列生成故事的自然语言处理模型。
• 数据组成：
  • 约2,000个精选的电影镜头序列，每个序列包含5至10张图像。
  • 与这些图像序列对应的约12,000个故事，由众包工作者编写。
• 数据来源：
  • 图像序列来自MovieNet数据集。
  • 故事由众包工作者编写，并由作者团队编译和精炼。

数据集结构

• 文件格式：CSV
• 文件详情：
  • train: vwp_v2.0_train.csv
  • val: vwp_v2.0_val.csv
  • test: vwp_v2.0_test.csv
• 列解释：参见 column_explain.csv

使用场景

• 直接用途：
  • 用于自然语言处理任务，特别是开发和评估从图像序列生成连贯且视觉上基于故事的模型。
• 超出范围的使用：
  • 图像版权属于原始版权持有者，仅限学术用途。

数据集创建

• 采集和处理：
  • 图像序列从MovieNet数据集中提取，确保围绕一个或多个主要角色的连贯情节。
  • 故事由众包工作者编写，并经过审查以确保与图像的连贯性和正确性。
• 注释者：
  • 五名来自Saarland大学的研究生，其中两名是英语母语者。

注意事项

• 语言限制：数据集仅包含英语内容。
• 潜在偏见和风险：尽管已尽力过滤和审查，但可能仍存在偏见或有害内容。

引用信息

• 作者：Xudong Hong, Asad Sayeed, Khushboo Mehra, Vera Demberg, Bernt Schiele
• 出版物：Transactions of the Association for Computational Linguistics, 2023
• BibTeX： latex @article{10.1162/tacl_a_00553, author = {Hong, Xudong and Sayeed, Asad and Mehra, Khushboo and Demberg, Vera and Schiele, Bernt}, title = "{Visual Writing Prompts: Character-Grounded Story Generation with Curated Image Sequences}", journal = {Transactions of the Association for Computational Linguistics}, volume = {11}, pages = {565-581}, year = {2023}, month = {06}, issn = {2307-387X}, doi = {10.1162/tacl_a_00553}, url = {https://doi.org/10.1162/tacl\_a\_00553}, eprint = {https://direct.mit.edu/tacl/article-pdf/doi/10.1162/tacl\_a\_00553/2134487/tacl\_a\_00553.pdf}, }