data-use-mentions-tiered
收藏资源简介：
该数据集为Data-use mentions — tiered copy，源自原始数据集rafmacalaba/data-use-mentions，专用于数据使用提及的跨度提取任务（token分类/命名实体识别）。数据集采用层级监督策略，仅保留T1（证据性）和T2（声明性）类别的跨度，并统一标记为DATA_MENTION类。特异性（命名、描述性、模糊性）由下游的多任务SFT模型处理，而非提取器。数据包含两个配置：gliner_tiered和bio_tiered，每个配置分为训练集、验证集和保留集（holdout），格式为JSONL。训练集包含由Gemma-4-E4B模型生成的合成行（标记为is_synthetic: true），而验证集和保留集全部为真实数据。总共有28,807个未标记的跨度，它们作为硬负例参与训练。数据规模统计显示：训练集保留84,039个跨度，验证集保留18,322个跨度，保留集保留17,416个跨度。用户可通过HuggingFace Datasets库加载，并可使用过滤条件仅使用真实数据。
This dataset is Data-use mentions — tiered copy, derived from the original dataset rafmacalaba/data-use-mentions, specifically for span extraction of data use mentions (token classification / named entity recognition). The dataset uses a tiered supervision strategy, retaining only T1 (evidential) and T2 (declarative) categories of spans, and uniformly labeled as DATA_MENTION class. Specificity (named, descriptive, vague) is handled by a downstream multi-task SFT model, not the extractor. The data contains two configurations: gliner_tiered and bio_tiered, each split into training, validation, and holdout sets, in JSONL format. The training set includes synthetic rows generated by the Gemma-4-E4B model (marked as is_synthetic: true), while the validation and holdout sets are all real data. There are 28,807 unlabeled spans that serve as hard negatives. Data statistics: training set retains 84,039 spans, validation set 18,322 spans, holdout set 17,416 spans. Users can load via HuggingFace Datasets library and filter to use only real data.
数据集概述：Data-use mentions — tiered copy (T1∪T2-only supervision)
基本信息
- 许可证：CC-BY-4.0
- 任务类型：token-classification（令牌分类），具体涉及命名实体识别（NER）和跨度提取（span-extraction）
- 标签体系：单类别
DATA_MENTION（数据提及）
数据集来源与构建
- 该数据集源自
rafmacalaba/data-use-mentions，原始数据未改动 - 保留相同的文本窗口和文本内容
- 被判定为
tier3_nonmention或junk的跨度（依据Luna判定结果，以及通过v3分类器在未判定训练跨度中筛选出的高置信度样本，阈值p_t3+p_junk ≥ 0.9）被取消标注，但文本仍然保留，作为跨度提取训练的硬负样本 - 未标注总数为 28,807 个跨度
配置与数据划分
| 配置名称 | 数据划分 |
|---|---|
gliner_tiered |
train, val, holdout |
bio_tiered |
train, val, holdout |
各划分统计信息
- Train：保留跨度 84,039 条，输出行数 72,681 行，源行数 85,003 行，未标注跨度 19,191 条（分类器来源 10,723 条，Luna来源 8,468 条）
- Val：保留跨度 18,322 条，输出行数 16,022 行，源行数 19,152 行，未标注跨度 4,980 条（全部来自Luna）
- Holdout：保留跨度 17,416 条，输出行数 15,541 行，源行数 18,709 行，未标注跨度 4,636 条（全部来自Luna）
- 各划分的负样本比例均为 0.3
标签说明
- 最终保留的跨度包括 T1证据型 和 T2声明型 数据提及
- 特异性（具名/描述性/模糊性）由下游的多任务SFT模型处理，而非由提取器处理
合成数据说明
- 仅训练集包含合成的数据行（
is_synthetic: true），验证集和测试集（holdout）全部为真实数据 - 合成数据由 Gemma-4-E4B 模型本地生成，基于分级锚定方法，包含虚构的数据提及
- 合成行的标签（usage-impact）来自已验证的种子角色，不从模型生成；来源属性经过逐字验证；参考文献以确定性方式组装
- 可通过
ds.filter(lambda r: not r["is_synthetic"])过滤出仅真实数据
使用方式
python from datasets import load_dataset ds = load_dataset("rafmacalaba/data-use-mentions-tiered", "gliner_tiered")
详细文档
- 合成数据生成的完整流程、门控机制和质量统计信息可在GitHub仓库的
docs/synthetic-generation.md中查看
