LSDSem/story_cloze

Story Cloze Test是一个新的常识推理框架，用于评估故事理解、故事生成和脚本学习。该测试要求系统为一个四句话的故事选择正确的结尾。

Story Cloze Test is a novel commonsense reasoning framework for evaluating story comprehension, story generation and script learning. This test requires systems to select the correct ending for a four-sentence story.

原始信息汇总

数据集概述

数据集描述

数据集摘要

Story Cloze Test 是一个用于评估故事理解、故事生成和脚本学习的常识推理框架。该测试要求系统从四个句子的故事中选择正确的结尾。

支持的任务和排行榜

• 常识推理

语言

• 英语

数据集结构

数据实例

一个训练实例的示例如下： json { "answer_right_ending": 1, "input_sentence_1": "Rick grew up in a troubled household.", "input_sentence_2": "He never found good support in family, and turned to gangs.", "input_sentence_3": "It wasnt long before Rick got shot in a robbery.", "input_sentence_4": "The incident caused him to turn a new leaf.", "sentence_quiz1": "He is happy now.", "sentence_quiz2": "He joined a gang.", "story_id": "138d5bfb-05cc-41e3-bf2c-fa85ebad14e2" }

数据字段

所有分割的数据字段相同：

• input_sentence_1: 故事的第一句话。
• input_sentence_2: 故事的第二句话。
• input_sentence_3: 故事的第三句话。
• input_sentence_4: 故事的第四句话。
• sentence_quiz1: 故事的第一个可能的延续。
• sentence_quiz2: 故事的第二个可能的延续。
• answer_right_ending: 正确的可能结尾，值为1或2。
• story_id: 故事的ID。

数据分割

名称	验证集	测试集
2016	1871	1871
2018	1571	-

数据集创建

数据集信息

• 配置名称: 2016

  • 特征:
    • story_id: 字符串类型
    • input_sentence_1: 字符串类型
    • input_sentence_2: 字符串类型
    • input_sentence_3: 字符串类型
    • input_sentence_4: 字符串类型
    • sentence_quiz1: 字符串类型
    • sentence_quiz2: 字符串类型
    • answer_right_ending: 整数类型 (int32)
  • 分割:
    • validation: 614084字节, 1871个样本
    • test: 613184字节, 1871个样本
  • 下载大小: 0字节
  • 数据集大小: 1227268字节

• 配置名称: 2018

  • 特征:
    • story_id: 字符串类型
    • input_sentence_1: 字符串类型
    • input_sentence_2: 字符串类型
    • input_sentence_3: 字符串类型
    • input_sentence_4: 字符串类型
    • sentence_quiz1: 字符串类型
    • sentence_quiz2: 字符串类型
    • answer_right_ending: 整数类型 (int32)
  • 分割:
    • validation: 515439字节, 1571个样本
  • 下载大小: 0字节
  • 数据集大小: 515439字节

搜集汇总

数据集介绍

构建方式

Story Cloze Test数据集的构建基于一个四句故事框架，旨在评估模型在故事理解和生成方面的能力。数据集通过提供一个四句故事和两个可能的结尾，要求模型选择正确的结尾。数据来源于原始故事，经过标准化处理后形成最终的数据集。数据集的构建过程注重故事的连贯性和逻辑性，确保每个故事结尾的选择具有明确的合理性。

特点

Story Cloze Test数据集的特点在于其专注于常识推理和故事理解。每个数据实例包含一个四句故事和两个可能的结尾，模型需要通过推理选择正确的结尾。数据集的语言为英语，规模适中，包含数千个数据实例。数据集的独特之处在于其强调故事的逻辑性和连贯性，为模型提供了一个具有挑战性的常识推理任务。

使用方法

Story Cloze Test数据集主要用于评估模型在故事理解和生成任务中的表现。研究人员可以通过加载数据集，使用模型对每个故事的两个结尾进行推理，并选择正确的结尾。数据集提供了验证集和测试集，便于模型在不同阶段进行评估。使用该数据集时，研究人员应关注模型的推理能力和对故事逻辑的理解，以提升模型在常识推理任务中的表现。

背景与挑战

背景概述

Story Cloze Test数据集由Nasrin Mostafazadeh等人于2017年提出，旨在评估机器对故事理解、生成及脚本学习的能力。该数据集的核心研究问题是通过四句话的故事，要求系统选择正确的结局，从而测试模型的常识推理能力。该数据集在自然语言处理领域具有重要影响力，特别是在故事理解和生成任务中，为研究者提供了一个标准化的评估框架。

当前挑战

Story Cloze Test数据集面临的挑战主要体现在两个方面。首先，该数据集旨在解决常识推理问题，但常识本身具有高度的复杂性和多样性，模型需要具备广泛的知识背景才能准确预测故事的结局。其次，在数据集的构建过程中，如何确保故事的连贯性和逻辑性，以及如何设计合理的结局选项，都是极具挑战性的任务。此外，数据集的规模相对较小，可能限制了模型的泛化能力，进一步增加了研究的难度。

常用场景

经典使用场景

在自然语言处理领域，Story Cloze Test数据集被广泛用于评估模型在故事理解和生成任务中的表现。通过提供一个四句话的故事背景，并要求模型从两个可能的结局中选择正确的结局，该数据集能够有效测试模型对上下文逻辑和常识推理的能力。这种任务设计不仅挑战了模型的语言理解能力，还推动了故事生成技术的发展。

实际应用

在实际应用中，Story Cloze Test数据集为开发智能对话系统和故事生成工具提供了重要支持。例如，在教育领域，基于该数据集训练的模型可以帮助学生理解故事逻辑并生成连贯的故事情节。在娱乐行业，该数据集可用于开发更具吸引力的互动故事应用，提升用户体验。此外，该数据集还为自动生成新闻摘要和个性化内容推荐提供了技术基础。

衍生相关工作

Story Cloze Test数据集催生了一系列相关研究，特别是在故事生成和常识推理领域。例如，基于该数据集的研究提出了多种改进模型推理能力的方法，如引入外部知识库和增强上下文建模。此外，该数据集还被用于开发新的评估指标，以更全面地衡量模型在复杂任务中的表现。这些工作不仅推动了自然语言处理技术的发展，还为相关领域的应用提供了新的思路。