datause-ner
收藏资源简介：
该数据集是Datause NER项目的一部分，旨在从文本段落中识别所有数据提及（DATA_MENTION），即任何与数据相关的提及。数据集基于rafmacalaba/datause-probe-v3构建，包含了29,346个候选跨度，这些跨度被组织成语段示例。每个候选跨度都被统一标记为唯一实体类型“DATA_MENTION”，没有进一步区分子类型（如命名、描述性或模糊提及），也不包含非提及标签。保留或丢弃跨度的决策由探测头（probe head）负责，而非NER标签本身。数据集提供了多种配置：gliner配置包含tokenized_text和ner字段；gliner2配置包含input和output字段；probe_splits和probe_candidates配置则镜像原始探测数据。每行记录还包含丰富的追踪信息，如corpus_id、page、chunk、split、spans（含文本、预测、luna_label、head_score、阈值、字符偏移、key和source）。数据按文档不重叠的方式划分为训练集、验证集和保留集。该数据集适用于命名实体识别（NER）、跨度提取以及数据提及检测等任务，尤其适合需要捕获所有潜在数据提及场景的模型训练与评估。
This dataset is part of the Datause NER project, aimed at identifying all data mentions (DATA_MENTION) from text paragraphs, i.e., any reference related to data. It is built upon rafmacalaba/datause-probe-v3 and contains 29,346 candidate spans organized into sentence-level examples. Each candidate span is uniformly labeled with the unique entity type DATA_MENTION, without further distinction into subtypes (such as named, descriptive, or vague mentions), and no non-mention labels are included. The decision to retain or discard a span is handled by a probe head rather than the NER tags themselves. The dataset offers multiple configurations: the gliner configuration includes tokenized_text and ner fields; the gliner2 configuration includes input and output fields; the probe_splits and probe_candidates configurations mirror the original probe data. Each record also contains rich tracking information such as corpus_id, page, chunk, split, spans (with text, prediction, luna_label, head_score, threshold, character offsets, key, and source). The data is split into training, validation, and holdout sets in a non-overlapping manner by document. This dataset is suitable for tasks like named entity recognition (NER), span extraction, and data mention detection, especially for training and evaluating models that need to capture all potential data mentions in a scenario.
数据集概述
基本信息
- 数据集名称：Datause NER
- 任务类型：Token 分类（命名实体识别）
- 许可证：Apache 2.0
- 实体类型：仅包含单一实体类型 DATA_MENTION
数据特点
- 数据来源于
rafmacalaba/datause-probe-v3语料，共包含 29,346 个跨度，按段落示例进行分组。 - 采用**全捕获（catch-all）**标注策略：所有候选跨度均被标记为
DATA_MENTION，不区分保留（keep）与丢弃（drop）样本，也不包含 NAMED/DESCRIPTIVE/VAGUE 子类型。 - 保留/丢弃的边界由探针头（probe head）通过阈值控制，NER 标签本身不承担该区分任务。
配置与文件结构
| 配置名称 | 数据文件 | 划分 |
|---|---|---|
gliner |
gliner_{train,val,holdout}.jsonl | train / val / holdout |
gliner2 |
gliner2_{train,val,holdout}.jsonl | train / val / holdout |
probe_splits |
probe_{train,val,holdout}.jsonl | train / val / holdout |
probe_candidates |
probe_candidate_pool.jsonl | pool |
数据列说明
gliner 配置
tokenized_text+ner：每个候选跨度标注为DATA_MENTION。
gliner2 配置
input+output：data_mention包含所有跨度的字符串。
通用字段
- 每行包含可追溯性信息：
corpus_id、page、chunk、split、spans（每个跨度的文本、预测、luna_label、head_score、阈值、字符偏移、key、source）。 - Luna 的保留/丢弃判定结果保存在
spans[].luna_label中，便于审计；标注结果遵循 head-threshold 操作点。
数据划分
- 训练集 / 验证集 / 留出集采用文档不重叠划分方式。
- 划分继承自
rafmacalaba/datause-probe-v3，因此 NER 划分与 probe 划分一致。
各来源阈值
| 数据来源 | 阈值 |
|---|---|
| fcv_pads_east_africa | 0.5 |
| general_prwp | 0.3 |
| jad_paddy_docs | 0.3 |
| jdc_operational | 0.5 |
| refugee_pads | 0.6 |
| reliefweb | 0.3 |
使用方式
python from datasets import load_dataset
gliner 配置
gliner = load_dataset("rafmacalaba/datause-ner", "gliner")
gliner2 配置
gliner2 = load_dataset("rafmacalaba/datause-ner", "gliner2")
probe 配置
splits = load_dataset("rafmacalaba/datause-ner", "probe_splits") cands = load_dataset("rafmacalaba/datause-ner", "probe_candidates")
