DFKI-SLT/DWIE|信息提取数据集|实体识别数据集

DWIE（德国之声信息抽取语料库）是一个新的数据集，专为文档级多任务信息抽取设计。它结合了四个主要的信息抽取子任务：命名实体识别、共指消解、关系抽取和实体链接。数据集包含详细的实体和关系信息，并已链接到维基百科，适用于英语文本的特征抽取和文本分类任务。

原始信息汇总

数据集概述

数据集基本信息

• 名称: DWIE (Deutsche Welle corpus for Information Extraction)
• 语言: 英语
• 许可证: 其他
• 多语言性: 单语
• 大小: 10M<n<100M
• 源数据: 原始数据
• 任务类别: 特征提取, 文本分类
• 任务ID: entity-linking-classification
• 论文代码ID: acronym-identification
• 标签: Named Entity Recognition, Coreference Resolution, Relation Extraction, Entity Linking

数据集结构

数据字段

• id: 文章的唯一标识符。
• content: 文章的文本内容，通过src/dwie_download.py脚本下载。
• tags: 用于区分训练集和测试集的文档。
• mentions: 文章中实体提及的列表，每个提及包含以下键:
  • begin: 提及的第一个字符的偏移量（在content字段内）。
  • end: 提及的最后一个字符的偏移量（在content字段内）。
  • text: 实体提及的文本表示。
  • concept: 表示实体提及的实体ID（文章中的多个实体提及可以指代同一个概念）。
  • candidates: 候选的维基百科链接。
  • scores: 基于维基百科语料库计算的候选实体链接的先验概率。
• concepts: 聚合每个实体提及的实体列表，每个实体注释包含以下键:
  • concept: 文档级实体的唯一ID。
  • text: 属于实体的最长提及的文本。
  • keyword: 指示实体是否为关键词。
  • count: 文档中属于实体的实体提及的数量。
  • link: 实体链接到维基百科。
  • tags: 与实体关联的多标签分类标签。
• relations: 实体（概念）之间的文档级关系列表，每个关系注释包含以下键:
  • s: 关系中的主体实体ID。
  • p: 定义关系名称的谓词（例如，"citizen_of", "member_of"等）。
  • o: 关系中的客体实体ID。
• iptc: 文章的多标签IPTC分类代码。

数据集创建

数据集来源

• 初始数据收集和规范化: 未提供详细信息。
• 源语言生产者: 未提供详细信息。

注释

• 注释过程: 未提供详细信息。
• 注释者: 未提供详细信息。

个人和敏感信息

• 个人和敏感信息处理: 未提供详细信息。

使用数据集的考虑

• 数据集的社会影响: 未提供详细信息。
• 数据集的偏见讨论: 未提供详细信息。
• 其他已知限制: 未提供详细信息。