DFKI-SLT/dfki-product-corpus

DFKI产品语料库是一个包含174个英文网页和社交媒体帖子的数据集，标注了产品和公司命名实体以及公司提供产品的关系。该数据集仅包含原始全文中至少包含一个组织和一个产品实体的句子。对于每个句子中的组织-产品组合，数据集包含一个实例，标记为“CompanyProvidesProduct”或“no_relation”。因此，该数据集更适合关系提取任务，而不是命名实体识别。数据集由DFKI-SLT团队创建，主要用于构建知识图谱。数据集的结构包括训练集、验证集和测试集，每个实例包含id、tokens、label、entities、grammar和type字段。数据集的注释由DFKI SLT的研究人员和学生助手完成，不包含个人或敏感信息。

原始信息汇总

数据集概述

数据集名称： DFKI Product Corpus

数据集描述： DFKI Product Corpus是一个包含174个英文网页和社交媒体帖子的数据集，这些内容被标注了产品和公司命名实体，以及关系“CompanyProvidesProduct”。该数据集主要用于关系抽取，类似于TACRED数据集，并不适用于命名实体识别。

数据集特点：

• 语言： 英语（en-us, en-gb）
• 许可证： CC-BY-4.0
• 数据集大小： 1K<n<10K
• 数据集结构： 数据集中的每个实例包含句子ID、tokens列表、关系标签（"CompanyProvidesProduct"或"no_relation"）、实体的起始和结束偏移量、以及固定的语法和类型列表。

数据集使用： 该数据集适用于二元关系分类。

数据集结构：

• 训练集： 2437条
• 验证集： 330条
• 测试集： 510条

数据集创建：

• 创建目的： 作为PLASS项目的一部分，旨在为公司-产品关系提供训练和评估数据，用于构建知识图谱。
• 源数据： 主要来源于新闻、产品页面、特殊兴趣网页等网络文本。
• 标注内容： 包含命名实体（ORGANIZATION, PRODUCT）和单一关系类型（CompanyProvidesProduct）的标注。

数据集贡献者：

• 数据集维护者： DFKI-SLT
• 数据集贡献者： 经过培训的学生助理和DFKI SLT的研究人员。

数据集引用信息：

• BibTeX引用：

  @InProceedings{SCHÖN18.88, author = {Saskia Schön and Veselina Mironova and Aleksandra Gabryszak and Leonhard Hennig}, title = "{A Corpus Study and Annotation Schema for Named Entity Recognition and Relation Extraction of Business Products}", booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)}, year = {2018}, month = {May 7-12, 2018}, address = {Miyazaki, Japan}, publisher = {European Language Resources Association (ELRA)}, isbn = {979-10-95546-00-9}, language = {english} }

• APA引用：

  Schön, S., Mironova, V., Gabryszak, A., & Hennig, L. (2018). A Corpus Study and Annotation Schema for Named Entity Recognition and Relation Extraction of Business Products. ArXiv, abs/2004.03287.

搜集汇总

数据集介绍

构建方式

DFKI产品语料库（DFKI Product Corpus）是面向商业关系抽取领域的专业数据集，源自德国人工智能研究中心（DFKI）的PLASS项目。该数据集以174篇英文网页与社交媒体帖子为原始语料，由经过培训的学生助理与研究人员进行标注，聚焦于组织（ORGANIZATION）与产品（PRODUCT）两类命名实体及其间的“公司提供产品”（CompanyProvidesProduct）关系。原始文档级标注经随机80/10/10划分后，转化为句子级JSONL格式，仅保留包含至少一个ORG与一个PROD实体的句子。句子分割与分词借助Spacy 3.2.0的en_core_web_sm模型完成，最终构建出包含2437条训练、330条验证与510条测试实例的二元关系分类数据集。

特点

该数据集的核心特质在于其针对企业-产品关系的精准聚焦与结构化设计。每个实例均包含实例ID、分词后的令牌列表、二元关系标签（CompanyProvidesProduct或no_relation）、基于令牌偏移的头尾实体位置，以及固定语法与类型字段。数据集遵循TACRED格式，但剔除了反向关系，确保了关系方向的明确性。其独特之处在于，语料来源多元，涵盖新闻、产品页面及专题网站，而非单一领域，从而提升了模型的泛化能力。此外，数据集规模虽小（千级样本），却通过精心设计的实体共现筛选策略，实现了高比例的关联样本密度，为关系抽取任务提供了高效、低噪声的训练基础。

使用方法

该数据集专为二元关系分类任务设计，用户可直接用于训练与评估企业-产品关系的抽取模型。使用时可加载JSONL格式的句子级实例，利用提供的令牌列表与实体偏移构建输入特征，结合标签字段进行监督学习。建议参考TACRED数据集的处理流程，采用预训练语言模型（如BERT）进行编码，并基于头尾实体表示进行关系分类。数据集已预设训练、验证与测试划分，用户无需额外拆分。需注意，数据不适用于命名实体识别任务，因其仅提供实体共现句子而非完整文档。推荐在论文引用的基础上，结合原始标注指南（见LREC 2018论文）以深入理解标注规范，从而优化模型性能。

背景与挑战

背景概述

DFKI Product Corpus是由德国人工智能研究中心（DFKI）语音与语言技术团队在PLASS项目框架下于2019至2022年间构建的英文关系抽取数据集。该数据集聚焦于商业领域中的公司-产品关系，旨在从网络文本中提取组织实体与产品实体之间的语义关联，为知识图谱的自动化构建提供训练与评估资源。数据集包含174篇英文网页及社交媒体帖子，经过句子级筛选后生成3277个标注实例，每个实例标注了“CompanyProvidesProduct”或“no_relation”二元关系标签。该研究的核心问题在于如何从非结构化文本中精准识别商业实体间的供应关系，其成果发表于LREC 2018会议，为后续产品关系抽取任务奠定了重要的基准数据基础，并推动了信息抽取技术在商业智能领域的应用。

当前挑战

该数据集面临的核心挑战源于商业产品关系抽取的领域复杂性。首先，产品命名实体具有高度多样性和歧义性，同一产品可能以品牌名、型号名或通用名出现，而组织实体常包含缩写、子品牌等变体，导致实体边界识别与类型分类困难。其次，关系标注中“CompanyProvidesProduct”与“no_relation”的二元分类难以覆盖真实世界中产品供应关系的多层次语义，如代工、分销或授权等关系类型未被纳入。在构建过程中，原始文档级标注需转换为句子级实例，但句子分割与实体对齐可能引入噪声，尤其当跨句共指关系被截断时。此外，数据集规模较小（仅174篇文档），且测试集因实体密度较高而意外偏大，导致数据分布不均，影响了模型泛化能力的可靠评估。

常用场景

经典使用场景

DFKI Product Corpus 数据集的核心经典用途在于二元关系分类任务，特别是识别句子中组织实体与产品实体之间是否存在“公司提供产品”（CompanyProvidesProduct）关系。该数据集通过从英文网页和社交媒体帖子中筛选包含至少一个组织和一个产品实体的句子，构建了适用于关系抽取的实例，类似于 TACRED 数据集的格式。研究者可基于此进行监督学习，训练模型以自动判断文本中企业与其商品之间的关联性，从而推动关系抽取技术在商业文本领域的应用与评估。

衍生相关工作

基于 DFKI Product Corpus，后续衍生了一系列经典研究工作，包括将其作为基准数据集用于评估预训练语言模型（如 BERT、RoBERTa）在细粒度关系抽取任务上的表现，以及探索跨领域迁移学习和少样本学习策略以应对标注数据稀缺的问题。此外，该数据集还启发了针对产品关系抽取的序列标注与联合学习模型的设计，推动了面向商业文本的端到端信息抽取系统的演进，并成为 PLASS 项目等知识图谱构建研究的重要基石。

数据集最近研究

最新研究方向

在商业智能与知识图谱构建的前沿领域，DFKI产品语料库（DFKI Product Corpus）为组织-产品关系抽取提供了精细化的标注资源。该数据集聚焦于从英文网页与社交媒体文本中识别企业与产品之间的“公司提供产品”关系，其标注粒度深入到句子级别，并采用二元关系分类框架，与TACRED等经典关系抽取数据集相呼应。当前，随着大语言模型在信息抽取任务中的广泛应用，该语料库成为评估模型在特定领域关系理解能力的重要基准，尤其是在处理稀疏关系类型与跨实体组合推断方面。其构建过程依托于PLASS项目，旨在通过非结构化文本自动填充知识图谱，推动自动化商业情报分析的发展。该数据集的开源与标准化格式，为后续研究者在少样本学习、跨领域迁移及实体关系联合建模等方向提供了坚实的实验基础，对促进工业级关系抽取系统的落地具有显著意义。