impresso-project/impresso-mediaagencies-ner-dataset

Impresso媒体来源数据集是一个用于标记分类的精选数据集，专门针对Impresso历史报纸文本中的新闻机构和广播电台提及进行命名实体识别。v0.1版本数据源自法语/德语的HIPE风格新闻机构注释，已转换为JSONL格式，并经过人工审查以解决当前模型开发/测试中的分歧，同时根据v2.0注释指南进行了更新。当前指南注释每个显式的规范媒体来源组织提及，而不仅仅是来源归属用途。数据集包含训练、验证和测试文件，支持使用Hugging Face的datasets库加载。标签策略使用org.ent.pressagency.<规范ID>和org.ent.radiostation.<规范ID>命名空间，并排除了如unk等被禁止的遗留标签。数据集许可证暂定为other，待最终分发条款确认。

The Impresso Media Source Dataset is a curated dataset for sequence labeling and classification, specifically focused on named entity recognition (NER) of news agency and radio station mentions within Impresso historical newspaper corpora. The v0.1 version of the dataset is derived from HIPE-style annotations of news agencies in French and German, converted to JSONL format, manually reviewed to resolve discrepancies encountered during current model development and testing, and updated in accordance with the v2.0 annotation guidelines. The current guidelines annotate every explicit, canonical mention of media source organizations, rather than only those used for source attribution purposes. The dataset includes training, validation, and test splits, and supports loading via the Hugging Face datasets library. The labeling strategy employs the namespaces `org.ent.pressagency.<canonical ID>` and `org.ent.radiostation.<canonical ID>`, and excludes deprecated legacy labels such as `unk`. The dataset license is provisionally set to `other`, pending final confirmation of distribution terms.

搜集汇总

数据集介绍

构建方式

该数据集源于对Impresso历史报纸语料中新闻社与广播电台提及的精细化标注，基于法、德双语HIPE风格的旧版新闻社标注数据，经转换为JSONL格式后，针对当前模型在开发集与测试集上的分歧进行人工审核，并依据v2.0标注指南全面更新。标注范围从仅关注来源归因扩展至所有显式的权威媒体机构提及。最终将数据整理为紧凑的训练模式，便于加载与查验。

特点

数据集采用BIO标签体系，以`token_labels`和`entities`字段存储核心标注，涵盖`org.ent.pressagency`与`org.ent.radiostation`两大命名空间，并过滤了`unk`、`ag`等不可训练的旧版标签。每条记录还包含报纸标识、日期、语言、质量标志及可追溯至HIPE来源的遗留元数据，兼顾模型训练与溯源需求。审核变更记录独立保存，便于人工审计。

使用方法

用户可通过HuggingFace Datasets库便捷加载数据，指定训练、验证和测试集的JSONL文件路径即可。数据集主要面向序列标注任务，推荐直接使用`token_labels`字段进行模型训练，同时可参考`entities`字段获取完整的实体跨度信息。审核文件`curation_changes_tags.tsv`以类CoNLL格式提供，用于分析标注修正，但不参与训练流程。

背景与挑战

背景概述

在历史报纸文本的数字化进程中，命名实体识别（NER）技术对于挖掘新闻内容中的关键信息至关重要。然而，现有的NER数据集多聚焦于现代文本，缺乏针对历史出版物中媒体来源（如新闻社和广播电台）的精细化标注。Impresso Media Sources Dataset（v0.1）由Impresso项目团队于近年创建，旨在填补这一空白。该数据集基于法文和德文的历史报纸语料，核心研究问题是识别并标注文本中明确提及的媒体来源机构实体，而不仅限于来源归因用途。通过将遗留的HIPE风格标注转换为JSONL格式，并依据v2.0标注指南进行人工审核修订，该数据集为历史文本的实体识别研究提供了高质量基准。其发布对数字人文、历史新闻学及计算语言学领域产生了重要影响，推动了面向跨语言、跨时代文本的NER方法发展。

当前挑战

该数据集所解决的领域问题核心在于历史报纸文本中媒体来源实体的精细化识别，这比通用NER任务更具挑战性，因为历史文本的拼写变体、OCR噪声及机构名称的不规范性增加了标注复杂性。构建过程中面临多重挑战：首先，原始HIPE标注中存在多种被排除的标签（如未知标签'unk'、未解析的'ag'及文章作者标签'pers.ind.articleauthor'），需要从训练数据中移除以保证标注一致性；其次，来自不同来源的标注格式（如hipe-tsv）需统一转换为紧凑的训练模式，同时保留必要的溯源字段（如newspaper标识符）以支持审核；最后，人工审核需针对模型在开发集与测试集上的分歧进行逐例校正，并通过curation_changes_tags.tsv文件记录变更，以确保高标注质量。这些挑战使得数据集构建过程既复杂又耗力，但最终产出的精标注数据为后续研究奠定了坚实基础。

常用场景

经典使用场景

在历史新闻文本处理领域，impresso-mediaagencies-ner-dataset作为经过精心策划的令牌分类数据集，主要用于识别和标注历史报纸中提及的新闻通讯社和广播电台等媒体来源实体。研究人员利用该数据集训练命名实体识别模型，能够在法语和德语历史文本中精确捕捉媒体组织名称，从而揭示历史叙事中信息传播的源头与渠道网络。

解决学术问题

该数据集有效解决了历史新闻文本中媒体来源实体标注不一致、标签体系混乱等关键学术问题。通过采用规范化的BIO标注方案和统一的标签命名空间，它消除了传统标注中'unk'、'ag'等模糊标签的干扰，为计算语言学、数字人文领域提供了可靠的金标准数据，推动历史新闻语料处理从粗粒度分类向细粒度实体识别的范式转变。

衍生相关工作

该数据集衍生出多项重要研究工作，包括基于Impresso项目的多模态历史新闻分析框架、面向低资源语言的跨领域NER迁移学习模型，以及融合OCR校正与实体识别的联合训练方法。此外，其标注规范启示了HIPE评测任务的演化方向，催生了面向历史文档的实体链接与事件抽取数据集的开发，形成数字人文领域持续迭代的资源生态。