cyanic-selkie/wikianc-en

WikiAnc EN数据集是从2023年3月1日的英文维基百科和Wikidata自动生成的数据集，主要用于Wikification任务。数据集包含维基百科文章的段落，每个段落包含原始文本、锚点信息、文章标题、文章ID、章节标题等信息。数据分为训练集、验证集和测试集，每个集合包含不同数量的文章、段落和锚点。数据集使用Creative Commons Attribution 4.0 International许可证。WikiAnc EN数据集是从2023年3月1日的英文维基百科和Wikidata自动生成的数据集，主要用于Wikification任务。数据集包含维基百科文章的段落，每个段落包含原始文本、锚点信息、文章标题、文章ID、章节标题等信息。数据分为训练集、验证集和测试集，每个集合包含不同数量的文章、段落和锚点。数据集使用Creative Commons Attribution 4.0 International许可证。

原始信息汇总

数据集概述

数据集名称

• 名称: WikiAnc EN

数据集来源

• 来源: 自动从Wikipedia（英文版）和Wikidata的转储数据生成（2023年3月1日）。

数据集用途

• 用途: 用于训练Wikification模型。

语言

• 语言: 英文（BCP-47代码：en）

数据集结构

数据实例

• 描述: 每个数据点代表Wikipedia文章中的一个段落。
• 字段:
  • uuid: 唯一标识符，UTF-8编码的v4 UUID。
  • article_title: 文章标题，NFC标准化，UTF-8编码。
  • article_pageid: 文章的Wikipedia页面ID。
  • article_qid: 文章引用的Wikidata QID，可为空。
  • section_heading: 段落所属的节标题，可为空，NFC标准化，UTF-8编码。
  • section_level: 节在层次结构中的级别。
  • paragraph_text: 段落文本，NFC标准化，UTF-8编码。
  • paragraph_anchors: 锚点列表，每个锚点包含起始和结束UTF-8代码点、QID、pageID和标题。

数据字段

• 详细描述: 见上文数据实例字段描述。

数据分割

• 分割: 训练、验证和测试集。
• 大小:
  • 训练集: 5,883,342篇文章，34,555,183段落，87,060,158锚点。
  • 验证集: 2,374,055篇文章，4,317,326段落，10,876,572锚点。
  • 测试集: 2,375,830篇文章，4,321,613段落，10,883,232锚点。

附加信息

许可信息

• 许可: Creative Commons Attribution 4.0 International