dennlinger/wiki-paragraphs

`wiki-paragraphs`数据集通过从维基百科文章中自动采样两个段落来构建，如果它们来自同一部分，则被视为“语义匹配”，否则视为“不相似”。数据集主要用于“同部分分类”任务，即判断两个句子/段落是否属于同一部分。数据集的构建基于Wiki-727k数据集，但使用了更新的维基百科数据。数据集包含训练、验证和测试集，分别占总数据的80%、10%和10%。数据集的使用应考虑其自动提取的语义相似性不完美，并可能需要额外的手动标注数据。

The `wiki-paragraphs` dataset is constructed by automatically sampling two paragraphs from Wikipedia articles. If the two paragraphs originate from the same section, they are labeled as "semantically matched"; otherwise, they are categorized as "dissimilar". The dataset is primarily utilized for the "same-section classification" task, which aims to determine whether two sentences or paragraphs belong to the same section. It is built upon the Wiki-727k dataset but leverages updated Wikipedia data. The dataset includes training, validation, and test splits, which account for 80%, 10%, and 10% of the total dataset respectively. Users should be aware that the automatically extracted semantic similarity labels are imperfect, and additional manual annotation data may be required for relevant tasks.

原始信息汇总

数据集概述

数据集名称

• 名称: wiki-paragraphs

数据集属性

• 语言: 英语
• 许可证: cc-by-sa-3.0
• 多语言性: 单语种
• 大小: 10M<n<100M
• 来源: 原始数据
• 标签: 维基百科, 自相似性
• 任务类别: 文本分类, 句子相似性
• 任务ID: 语义相似性评分

数据集描述

• 概述: wiki-paragraphs数据集通过自动从维基百科文章中抽样两个段落构建。如果它们来自同一节，则被视为“语义匹配”，否则为“不相似”。
• 支持任务: 用于“同节分类”，这是一个二分类任务，判断两个句子/段落是否属于同一节。
• 语言: 数据主要提取自英文维基百科。

数据集结构

• 数据实例: 每个实例包含三个属性：sentence1（第一段落中的句子），sentence2（第二段落中的句子），label（0或1，表示两个段落是否属于同一节）。
• 数据字段: sentence1, sentence2, label
• 数据分割: 提供训练、验证和测试分割，比例为80/10/10，总计提供25375583对训练样本，以及3163685个验证和测试实例。

数据集创建

• 采集理由: 用于大规模实验中长文本（段落级）的语义相似性预训练。
• 源数据: 数据基于Wiki-727k数据集的文章，重新从维基百科获取。
• 标注: 数据集无手动标注，通过自动抽样同一文章中的两个节来确定相似性。

使用数据注意事项

• 社会影响: 作为语义相似性学习的预训练补充。
• 偏见讨论: 可能存在轻微的性别偏见，男性人物在维基百科中更可能拥有页面。
• 其他已知限制: 自动提取的语义相似性不是完美的，应谨慎对待。

附加信息

• 数据集创建者: Lucienne-Sophie Marmé在Dennis Aumiller的监督下开发。
• 许可证信息: 维基百科数据根据CC-BY-SA 3.0许可证提供。
• 引用信息: 参见提供的引用信息。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域中，语义相似性判别是文本理解的核心任务之一。dennlinger/wiki-paragraphs数据集通过自动化流程从英文维基百科文章中抽取段落对构建而成。具体而言，若两段落源自同一章节，则被标注为“语义匹配”（标签1），否则视为不相似（标签0）。为确保数据平衡，每篇文章的每个章节均采样三组正例与三组负例。数据集基于Wiki-727k所收录的文章列表，但重新从维基百科获取最新内容以保留段落结构，最终形成约2500万训练对及各约316万验证与测试样本，并按80/10/10比例随机划分。

特点

该数据集最显著的特点在于其大规模与低成本获取方式，通过自动标注而非人工干预，快速生成海量段落级语义相似性样本。其设计初衷并非追求完美的相似度刻画，而是作为预训练策略，辅助长文本语义相似性学习。数据仅包含英文，且因维基百科编辑者以男性居多，可能存在性别偏倚。此外，数据集支持“同章节分类”任务，可结合文档级连贯性度量进行误分类检测，为语义相似性研究提供了高效的基础资源。

使用方法

使用该数据集时，可直接加载HuggingFace上的预划分版本，包含train、validation和test三个子集。每个样本由sentence1、sentence2和label字段组成，适用于二分类任务。研究者可将其作为预训练补充，在训练语义相似性模型时，与人工标注数据集结合使用以提升性能。推荐参考原论文以理解其与文档分段任务的关联，并注意自动标注的局限性，避免在生产环境中单独依赖该数据集。

背景与挑战

背景概述

在自然语言处理领域，篇章级语义相似度的评估一直是文本理解的核心挑战之一，尤其对于长文本（如段落）的语义匹配任务，传统基于句子级别的相似度模型往往难以捕捉跨段落间的主题连贯性。由德国海德堡大学Dennis Aumiller及其团队于2020年创建的wiki-paragraphs数据集，正是为应对这一困境而生。该数据集以维基百科英文语料为基石，通过自动化流程从同一文章的同一章节或不同章节中采样段落对，并赋予二元语义匹配标签，旨在为段落级语义相似性学习提供大规模、低成本的预训练资源。其研究核心在于探索一种无需人工标注的弱监督策略，以支撑法律文档结构分割等下游任务的泛化能力，相关成果发表于ICAIL 2021会议，对推动语义相似性评估在长文本领域的实用化进程产生了重要影响。

当前挑战

该数据集所面临的挑战首先体现在领域问题的复杂性上：段落级语义相似度本身具有高度主观性，同一主题下不同章节的段落可能存在隐性语义关联，而简单的章节归属标签难以精确反映这种细腻的语义关系，导致模型在区分“同主题不同方面”与“跨主题段落”时易产生混淆。其次，在构建过程中，数据集完全依赖自动采样机制，未引入人工校验，这引入了噪声问题——例如，同一章节内因话题过渡而语义断裂的段落可能被错误标记为正例，而不同章节中描述相同概念的段落则可能被误判为负例。此外，维基百科自身存在的性别偏差（男性人物条目显著多于女性）也通过数据源渗透至数据集中，可能对下游模型的公平性构成潜在风险。

常用场景

经典使用场景

wiki-paragraphs数据集的核心应用场景在于篇章级别的语义相似性判断与同区段分类任务。该数据集通过从维基百科文章中自动抽取段落对，并依据其是否源自同一章节来标注二分类标签（1表示同区段，0表示异区段），为长文本语义匹配提供了一种低成本、大规模的预训练策略。研究者常将其作为基础训练资源，用于提升模型对段落间语义连贯性的感知能力，尤其适用于需要理解文档内在结构逻辑的自然语言处理任务。

实际应用

在实际应用中，wiki-paragraphs训练出的模型可被部署于法律文档的自动结构化分析、学术论文的章节划分验证、以及新闻长文的逻辑流检测等场景。例如，在合同审查系统中，模型能够判断不同条款是否属于同一主题模块，从而辅助法律工作者快速定位内容变更点。此外，该数据集也适用于搜索引擎的段落相关性排序，通过识别查询与文档内特定段落的语义匹配程度，提升信息检索的精准度。

衍生相关工作

基于wiki-paragraphs数据集，衍生出了多项关于文本分割与语义连贯性的经典研究。其中，Aumiller等人将其应用于法律文档的结构化分割任务，提出了结合篇章级语义特征的分类框架，证明了该数据集在领域迁移中的有效性。此外，后续工作探索了将其与人工标注的精细相似性数据联合训练的策略，以弥补自动标注噪声带来的性能瓶颈，推动了混合训练范式在长文本理解中的发展。这些工作共同巩固了wiki-paragraphs作为段落语义预训练基石的地位。