cimec/lambada

LAMBADA数据集用于评估计算模型在文本理解方面的能力，特别是通过单词预测任务来测试模型是否能够处理长距离依赖关系。数据集包含从BookCorpus中提取的叙事段落，分为开发集和测试集，训练数据包括2662部小说的全文。数据集的结构包括文本和类别字段，数据分为训练集、开发集和测试集。数据集的创建目的是评估语言模型是否能够保持长期上下文记忆。数据集的注释过程涉及付费的众包工作者，确保目标单词只能通过整个段落来猜测。数据集的语言为英语，许可证为CC BY 4.0。

The LAMBADA dataset is intended to evaluate the text understanding capabilities of computational models, particularly by testing whether models can handle long-range dependencies through word prediction tasks. The dataset contains narrative passages extracted from BookCorpus, which is split into development and test sets, with its training data consisting of the full texts of 2,662 novels. The dataset includes text and category fields, and the overall data is divided into training, development and test sets. It is created to assess whether language models can maintain long-term contextual memory. The annotation process of the dataset involves paid crowdworkers, ensuring that the target word can only be guessed by leveraging the entire paragraph. The dataset is in English, and its license is CC BY 4.0.

原始信息汇总

数据集概述

数据集名称

• 名称: LAMBADA
• 别名: 无

数据集基本信息

• 语言: 英语 (en)
• 许可证: CC BY 4.0
• 多语言性: 单语种
• 大小: 10K<n<100K
• 来源数据集: 扩展自 BookCorpus
• 任务类别: 文本到文本生成
• 任务ID: 无
• 标签: 长范围依赖

数据集结构

• 配置名称: plain_text
• 特征:
  • text: 字符串类型，包含上下文、目标句子和目标词
  • domain: 字符串类型，仅在训练集提供
• 数据分割:
  • 训练集: 2,662 本小说，包含超过 200M 字
  • 验证集: 4,869 个段落
  • 测试集: 5,153 个段落

数据集创建

• 目的: 评估语言模型保持长期上下文记忆的能力
• 数据来源: 小说，来自 BookCorpus
• 注释过程: 通过付费众包人员进行，要求根据整个段落准确预测最后一个词

使用考虑

• 许可证: 使用需遵守 CC BY 4.0 许可
• 引用信息: 提供详细的引用格式，包括作者、标题、出版信息等

数据集详细信息

数据集描述

• 摘要: LAMBADA 数据集通过单词预测任务评估计算模型的文本理解能力。该数据集包含的叙事段落特点是，人类受试者只有在看到整个段落时才能猜出最后一个词，仅看最后一句则几乎不可能。
• 支持任务: 长范围依赖评估，即单词预测

数据集结构

• 数据实例: 每个实例包含一个文本序列，包括上下文、目标句子和目标词。训练数据包括2,662本小说的全文，与验证和测试集不重叠。
• 数据字段:
  • category: 仅在训练集提供，指示书籍提取的子类别
  • text: 包含上下文、目标句子和目标词的文本

数据集创建

• 筛选理由: 数据集旨在评估语言模型处理长距离上下文的能力。数据筛选确保目标词对人类来说容易根据整个段落猜测，但仅根据最后一句则几乎不可能。
• 源数据: 数据来自 BookCorpus，经过复制和过滤以去除潜在冒犯性内容。

使用考虑

• 许可证信息: 数据集根据 CC BY 4.0 许可发布。
• 引用信息: 提供详细的引用格式，方便学术引用。

搜集汇总

数据集介绍

构建方式

LAMBADA数据集的构建基于BookCorpus，通过精心筛选和处理，提取了10,022篇叙事性段落。这些段落具有显著的特征，即人类在阅读整个段落时能够轻松预测最后一个词，但仅凭最后一个句子则难以预测。数据集的构建过程中，采用了专家生成的标注方式，确保了目标词的预测难度。训练数据包括2,662本小说，共203百万字，与开发和测试集完全不重叠，以确保模型的泛化能力。

特点

LAMBADA数据集的核心特点在于其对长程依赖关系的评估，要求模型不仅依赖局部上下文，还需理解更广泛的语境信息。数据集的段落来源于小说，具有丰富的叙事结构和复杂的语境依赖，使得模型在处理此类文本时需具备较强的记忆和推理能力。此外，数据集的标注过程严格，确保了目标词的预测难度，从而有效评估模型的文本理解能力。

使用方法

LAMBADA数据集主要用于评估模型在长程依赖任务中的表现，特别是最后一个词的预测。使用时，可以将数据集分为训练、开发和测试集，分别用于模型的训练、调优和最终评估。数据集提供了文本和类别字段，其中类别字段仅在训练集中可用，帮助模型学习不同类别小说的叙事风格。通过在LAMBADA上的表现，可以评估模型在处理复杂语境和长程依赖任务中的能力。

背景与挑战

背景概述

LAMBADA数据集由Denis Paperno等人于2016年创建，旨在评估计算模型在文本理解中的长程依赖能力。该数据集通过从BookCorpus中提取的叙事段落，设计了一个单词预测任务，要求模型不仅依赖局部上下文，还需理解更广泛的语篇背景。LAMBADA的独特之处在于，人类在看到整个段落时能轻松预测最后一个单词，但仅凭最后一句则难以做到。这一特性使得LAMBADA成为测试模型长程记忆和语篇理解能力的重要工具，对自然语言处理领域产生了深远影响。

当前挑战

LAMBADA数据集的主要挑战在于其对模型长程依赖处理能力的高要求。构建过程中，研究人员面临的主要挑战是如何确保目标单词在仅依赖局部上下文时难以预测，而在全局上下文中则易于预测。此外，数据集的标注过程也具有挑战性，需通过付费众包确保标注的准确性和一致性。这些挑战使得LAMBADA成为评估模型在复杂语篇环境中表现的重要基准，同时也为模型设计者提供了改进长程依赖处理能力的方向。

常用场景

经典使用场景

LAMBADA数据集的经典使用场景主要集中在评估计算模型在文本理解中的长程依赖能力。通过提供包含长篇叙事段落的文本，模型需要预测段落的最后一个词。这一任务要求模型不仅依赖于局部上下文，还需理解并整合整个段落的信息，从而模拟人类在阅读理解中的长程记忆能力。

解决学术问题

LAMBADA数据集解决了自然语言处理领域中关于模型长程依赖能力的重要学术问题。传统的文本生成模型往往依赖于局部上下文，而LAMBADA通过设计需要广泛语境理解的词预测任务，迫使模型必须具备长程记忆和上下文整合能力，从而推动了模型在复杂语境下理解能力的研究。

衍生相关工作

LAMBADA数据集的提出激发了大量相关研究，特别是在长程依赖和上下文理解方面。许多后续工作尝试通过改进模型架构、引入外部知识或采用更复杂的训练策略来提升模型在LAMBADA任务上的表现。这些研究不仅推动了自然语言处理技术的发展，也为其他领域的长程依赖问题提供了新的思路。