DFKI-SLT/smartdata-coprpus

SmartData Corpus是一个德语数据集，包含新闻文本、Twitter消息和交通报告，标注了实体类型、15种交通和行业相关的n元关系和事件，如事故、交通堵塞、收购和罢工等。数据集提供了三种配置：命名实体识别（NER）、关系抽取（RE）和事件抽取（EE）。NER标签使用BIO标记方案，RE和EE的格式类似于ACE2005预处理格式。

原始信息汇总

数据集概述

数据集描述

数据集名称

SmartData Corpus

数据集语言

德语

数据集任务

• 命名实体识别 (Named Entity Recognition, NER)
• 关系抽取 (Relation Extraction, RE)
• 事件抽取 (Event Extraction, EE)

数据集标签

• 金融
• 关系抽取
• 事件抽取
• 交通
• 工业

数据集大小

• 1K < n < 10K

数据集结构

配置

• ee: 事件抽取
• ner: 命名实体识别
• re: 关系抽取

数据字段

ee

• id: 示例标识符，字符串类型。
• text: 示例文本，字符串类型。
• entity_mentions: 实体提及列表，结构体类型。
  • id: 实体标识符，字符串类型。
  • text: 实体文本，字符串类型。
  • start: 起始token偏移，int64类型。
  • end: 结束token偏移，int64类型。
  • char_start: 起始字符偏移，int64类型。
  • char_end: 结束字符偏移，int64类型。
  • type: 实体类型，字符串类型。
• event_mentions: 事件提及列表，结构体类型。
  • id: 事件标识符，字符串类型。
  • trigger: 触发器，结构体类型。
    • text: 触发器文本，字符串类型。
    • start: 起始token偏移，int64类型。
    • end: 结束token偏移，int64类型。
    • char_start: 起始字符偏移，int64类型。
    • char_end: 结束字符偏移，int64类型。
  • arguments: 参数列表，结构体类型。
    • text: 参数文本，字符串类型。
    • start: 起始token偏移，int64类型。
    • end: 结束token偏移，int64类型。
    • char_start: 起始字符偏移，int64类型。
    • char_end: 结束字符偏移，int64类型。
    • role: 参数角色，字符串类型。
    • type: 参数实体类型，字符串类型。
  • event_type: 事件类型，字符串类型。
• tokens: token列表，字符串序列。
• pos_tags: 词性标签列表，字符串序列。
• lemma: 词元化token列表，字符串序列。
• ner_tags: NER标签列表，字符串序列。

ner

• id: 示例标识符，字符串类型。
• tokens: token列表，字符串序列。
• ner_tags: NER标签列表，字符串序列。

re

• id: 示例标识符，字符串类型。
• tokens: token列表，字符串序列。
• entities: 实体token跨度列表，int64序列。
• entity_roles: 实体角色列表，字符串序列。
• event_type: 事件类型，字符串类型。
• entity_ids: 实体标识符列表，字符串序列。

数据分割

ee

• train: 6532239字节，1861个示例。
• validation: 792697字节，228个示例。
• test: 802322字节，230个示例。

ner

• train: 2062754字节，1861个示例。
• validation: 250635字节，228个示例。
• test: 255164字节，230个示例。

re

• train: 2116771字节，1007个示例。
• validation: 265248字节，129个示例。
• test: 238094字节，128个示例。

数据文件路径

ee

• train: ee/train-*
• validation: ee/validation-*
• test: ee/test-*

ner

• train: ner/train-*
• validation: ner/validation-*
• test: ner/test-*

re

• train: re/train-*
• validation: re/validation-*
• test: re/test-*

许可证

CC BY-SA 4.0

引用信息

BibTeX

@InProceedings{SCHIERSCH18.85, author = {Martin Schiersch and Veselina Mironova and Maximilian Schmitt and Philippe Thomas and Aleksandra Gabryszak and Leonhard Hennig}, title = "{A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events}", booktitle = {Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018)}, year = {2018}, month = {May 7-12, 2018}, address = {Miyazaki, Japan}, editor = {Nicoletta Calzolari (Conference chair) and Khalid Choukri and Christopher Cieri and Thierry Declerck and Sara Goggi and Koiti Hasida and Hitoshi Isahara and Bente Maegaard and Joseph Mariani and Hélène Mazo and Asuncion Moreno and Jan Odijk and Stelios Piperidis and Takenobu Tokunaga}, publisher = {European Language Resources Association (ELRA)}, isbn = {979-10-95546-00-9}, language = {english} }

APA

• Schiersch, M., Mironova, V., Schmitt, M., Thomas, P., Gabryszak, A., & Hennig, L. (2018). A German Corpus for Fine-Grained Named Entity Recognition and Relation Extraction of Traffic and Industry Events. In N. Calzolari (Conference chair), K. Choukri, C. Cieri, T. Declerck, S. Goggi, K. Hasida, H. Isahara, B. Maegaard, J. Mariani, H. Mazo, A. Moreno, J. Odijk, S. Piperidis, & T. Tokunaga (Eds.), Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018) (pp. Unknown). Miyazaki, Japan: European Language Resources Association (ELRA). ISBN: 979-10-95546-00-9.

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，针对交通与工业事件的细粒度信息抽取任务，数据集的构建是推动模型性能提升的关键。SmartData Corpus 由 DFKI 研究团队精心打造，是一个以德语为载体的多源语料库。其构建过程融合了新swire文本、Twitter消息以及来自广播电台、警方和铁路公司的交通报告，确保了语料的多样性与现实性。数据集由人类标注员进行精细标注，涵盖实体类型及15种交通与工业相关的n元关系和事件，如事故、交通拥堵、企业收购和罢工等。为支持不同任务，该语料提供了三种配置：命名实体识别（NER）采用BIO标注方案，关系抽取（RE）聚焦于n元关系，事件抽取（EE）则遵循类似ACE2005的预处理格式。每个配置均划分为训练、验证和测试子集，其中NER和EE各有1861条训练样本，RE则包含1007条训练样本，整体规模处于1K至10K之间。

特点

该数据集的核心特点在于其多维度的精细标注体系与任务适配性。NER配置中，每个词元被赋予细粒度的实体标签，如道路位置、触发词和日期，以BIO格式组织，便于序列标注模型的直接应用。RE配置则通过实体索引、角色和类型字段，定义了事件中各实体的语义角色，如起点位置和终点位置，支持复杂的n元关系建模。EE配置最为详尽，包含实体提及与事件提及的完整结构，触发词及其参数均标注了字符级偏移和语义角色，同时提供词元、词性标注、词形还原和NER标签等辅助特征，为端到端的事件抽取研究提供了丰富信息。此外，数据集跨域来源（新闻、社交媒体、官方报告）增强了其鲁棒性和泛化能力，使其成为德语信息抽取领域的基准资源。

使用方法

在使用该数据集时，研究者可通过Hugging Face Datasets库便捷加载。根据目标任务选择相应的配置名称，如`ner`、`re`或`ee`，并指定数据划分（train、validation或test）即可获取实例。对于NER任务，可直接使用`tokens`和`ner_tags`字段进行序列标注训练。RE任务需利用`entities`、`entity_roles`和`event_type`字段构建关系抽取模型。EE任务则需解析`entity_mentions`和`event_mentions`中的嵌套结构，以提取事件触发词及参数。数据集采用CC-BY-4.0许可证，允许学术与商业使用。建议参考原始论文和GitHub仓库中的预处理脚本，以复现基准实验结果。此外，可结合德语专用的分词器和词形还原工具，进一步优化模型性能。

背景与挑战

背景概述

SmartData Corpus是由德国人工智能研究中心（DFKI）的语言技术实验室于2018年创建的一个德语细粒度命名实体识别与关系抽取数据集。该数据集聚焦于交通与工业领域的事件抽取，涵盖事故、交通拥堵、企业并购和罢工等15种n元关系与事件类型。其语料源自新闻通讯、Twitter消息以及来自电台、警方和铁路公司的交通报告，体现了多源异构文本的融合。作为德语自然语言处理领域的重要资源，SmartData Corpus为细粒度实体识别和复杂事件关系建模提供了高质量的标注数据，推动了德语信息抽取技术的发展，尤其在工业与交通场景下的语义理解任务中具有显著影响力。

当前挑战

该数据集所解决的领域问题在于从非结构化德语文本中自动识别交通与工业事件的结构化信息，例如从嘈杂的社交媒体或简短交通报告中提取事件触发词、参与者及时空属性，这对传统序列标注和关系抽取模型构成了挑战。构建过程中，主要挑战包括：多源语料的标注一致性维护，尤其是Twitter文本的非规范表达与交通报告的专业术语之间的协调；15种事件类型的细粒度定义与边界划分，确保n元关系标注的准确性；以及实体角色（如起始地点、结束日期）在事件框架中的精确映射，这要求标注者具备领域知识以处理隐含或歧义性表达。

常用场景

经典使用场景

SmartData Corpus作为德语领域内首个融合交通与工业事件的细粒度标注语料库，其核心应用场景聚焦于命名实体识别、多元关系抽取以及事件抽取三大经典任务。该数据集涵盖了新闻通讯、Twitter消息以及来自广播电台、警方和铁路公司的交通报告等多源异构文本，为研究者提供了丰富的实体类型（如街道、地点、日期）和15种交通与工业相关的n元关系及事件（如事故、交通堵塞、收购、罢工）的精细标注，从而为构建和评估信息抽取系统奠定了坚实的基准。

实际应用

在实际应用层面，SmartData Corpus赋能了智能交通管理系统与工业风险监控平台的自动化信息处理能力。基于该数据集训练的模型可实时从德语社交媒体、新闻和官方通报中自动识别交通事故、道路施工、企业并购及罢工等关键事件，并抽取出事件发生地点、时间、涉及实体及影响范围等结构化信息，从而支持应急响应决策、交通流量预测以及工业舆情监测，显著提升了城市治理与工业安全预警的效率与精准度。

衍生相关工作

SmartData Corpus衍生了一系列经典研究成果，包括基于该语料库提出的细粒度命名实体识别方法、融合多元关系的事件抽取框架以及针对德语特性的预训练语言模型微调策略。其标注规范与数据格式被后续多篇德语信息抽取论文采纳为基准，并催生了面向交通与工业领域的联合实体关系抽取模型、少样本事件检测方法以及跨领域迁移学习范式，进一步扩展了该数据集在自然语言处理社区的影响力与学术价值。