annulus-ift-2000

Annulus Instruction-Tuning Data 是一个用于训练时间感知模型 backbone 的指令微调数据集，其知识截止日期为 2000 年。数据集的目标是教会模型：（1）发出前导控制令牌（如年份标记或未来标记）；（2）根据问题是否在知识边界内产生正确的措辞（真实答案、边界拒绝或真实预测）。数据集包含三个训练文件：annulus_it_2000_lineA.jsonl（3,270 个基于 Wikidata 真实事实的年份锚定样本，非经济类）、annulus_it_2000_lineB_none.jsonl（6,748 个通用指令遵循样本，来自 databricks-dolly-15k，经过严格过滤，移除所有含年份/日期、后-2000 年引用或开放事实回忆的样本）、annulus_it_2000_mc.jsonl（1,200 个 ABCDE 多项选择样本，答案仅为字母，外部边界选项为“None — beyond my knowledge”，干扰项均为同类别且 ≤2000 年的真实获奖者）。此外，还有一个人类评估配置 human_eval，包含 238 个分层抽样样本（两个相同的分割用于两名独立标注者）。每个样本的字段包括：id, quadrant, anchor(=2000), target_year, emit_token, source, instruction, response, full_text, loss_mask_starts_after。样本根据 target_year 与 2000 的关系分为四个象限：Q1（内部回忆，T≤2000）、Q2（内部预测，T≤2000）、Q3（外部回忆，T>2000，拒绝回答）、Q4（外部预测，T>2000，基于 ≤2000 知识给出真实预测），以及 none（年份无关的通用指令）。发射令牌映射：内部边界为 [Y{target_year}]，外部边界为 <future>，年份无关为 [None]。所有外部边界样本均不使用任何 2000 年之后的事实，确保模型仅依赖 ≤2000 的知识。数据集适用于时间感知的指令微调、边界拒绝、预测生成等任务。许可证为 CC-BY-4.0。Annulus Instruction-Tuning Data is an instruction-tuning dataset for training time-aware model backbones, with a knowledge cutoff date of 2000. The dataset aims to teach models: (1) to emit leading control tokens (such as year tokens or future tokens); (2) to produce correct wording (real answers, boundary rejection, or real predictions) based on whether the question is within the knowledge boundary. The dataset includes three training files: annulus_it_2000_lineA.jsonl (3,270 year-anchored samples based on Wikidata real facts, non-economic), annulus_it_2000_lineB_none.jsonl (6,748 general instruction-following samples from databricks-dolly-15k, strictly filtered to remove any samples containing years/dates, post-2000 references, or open factual recall), and annulus_it_2000_mc.jsonl (1,200 ABCDE multiple-choice samples with answers as letters only, external boundary option None — beyond my knowledge, distractors are real winners of the same category and ≤2000). Additionally, there is a human evaluation configuration human_eval containing 238 stratified samples (two identical splits for two independent annotators). Each sample includes fields: id, quadrant, anchor(=2000), target_year, emit_token, source, instruction, response, full_text, loss_mask_starts_after. Samples are divided into four quadrants based on the relationship between target_year and 2000: Q1 (internal recall, T≤2000), Q2 (internal prediction, T≤2000), Q3 (external recall, T>2000, refusal to answer), Q4 (external prediction, T>2000, real prediction based on ≤2000 knowledge), and none (year-independent general instructions). The emit token mapping: internal boundary as [Y{target_year}], external boundary as <future>, year-independent as [None]. All external boundary samples do not use any facts after 2000, ensuring the model relies only on ≤2000 knowledge. The dataset is suitable for time-aware instruction tuning, boundary rejection, prediction generation, etc. License: CC-BY-4.0.

原始信息汇总

数据集概述：Annulus Instruction-Tuning Data — Backbone (knowledge boundary = 2000)

基本信息

• 许可证：CC-BY-4.0
• 任务类型：文本生成（text-generation）
• 语言：英语
• 标签：指令微调、时间感知、环形（annulus）
• 数据规模：10K < n < 100K（总计 11,218 条训练样本）

数据集用途

本数据集用于 Annulus 时间感知模型的 backbone（知识截止日期为 2000 年）指令微调。目标包括：

1. 让模型学会输出前置控制令牌（emit token）
2. 产生正确的措辞（直接回答 / 边界拒绝 / 真实预测）

注意：知识截止本身是模型内在属性，并非由本数据集教授（任何指令中都不包含锚定年份）。

文件结构与配置

训练配置（default）

文件	样本数	说明
annulus_it_2000_lineA.jsonl	3,270	年份锚定样本（来自 Wikidata 的真实事实，非经济类）
annulus_it_2000_lineB_none.jsonl	6,748	通用指令跟随样本（[None]），源自 databricks-dolly-15k，严格过滤为无年份依赖且内容均在 2000 年之前
annulus_it_2000_mc.jsonl	1,200	ABCDE 多选题样本（答案为单个字母；超出知识范围时选择“None — beyond my knowledge”选项）

人工评估配置（human_eval）

• 包含 238 条分层抽样的人工评估样本
• 两个完全相同的数据划分（annotator_a / annotator_b），供两名独立标注者使用
• 用于计算标注者间一致性（Cohens κ）

数据模式（Schema）

每条 JSON 行包含以下字段： id, quadrant, anchor(=2000), target_year, emit_token, source, instruction, response, full_text, loss_mask_starts_after

full_text 格式："<instruction> [GEN] <emit_token> <answer> <|endoftext|>"
损失从 [GEN] 开始监督（包括 emit token + 答案 + eot）；前缀部分 loss_mask=0。

Emit Token 映射规则

• 边界内（target_year ≤ 2000）：回忆并预测 → [Y{target_year}]
• 边界外（target_year > 2000）：回忆（拒绝）与预测（预报）→ <future>
• 年份无关 → [None]

类别（象限）说明

象限	名称	条件	行为
Q1	recall_inside	T ≤ 2000	回答真实事实
Q2	predict_inside	T ≤ 2000	“已在知识范围内，无需预测” + 事实
Q3	recall_outside	T > 2000	拒绝：“超出我的知识边界（信息止于2000年）”
Q4	predict_outside	T > 2000	基于 ≤2000 知识外推的真实预测（绝不拒绝）
none	year_agnostic	无年份	通用指令跟随，无年份无事实

边界纪律

边界外样本（Q3/Q4）不使用任何 2000 年后的事实——答案、选项、元数据中均不包含真实的 2001 年后的获奖者等信息。边界为 2000 的模型必须仅使用 ≤2000 的知识即可构造（每年递增版本同理）。

人工评估协议

评估维度（每行填写 PASS/FAIL）

1. chk_emit_token_correct：emit token 是否符合规则（边界内 [Y_T] / 边界外 <future> / 无年份 [None]），且是否为 [GEN] 后的第一个 token
2. chk_boundary_correct：象限是否与 target_year 和 2000 的关系一致
3. chk_no_post2000_leak（最重要）：指令/答案/选项中是否包含任何 2000-12-31 之后的实体、事件、产品、人物或事实。需警惕隐蔽陷阱（如追溯性奖项、系列更名、无年份的现代引用）
4. chk_fact_correct：边界内回忆/预测的答案是否为该年份的真实获奖者/事实
5. chk_behavior_correct：Q3 拒绝、Q4 给出真实预测（非拒绝）、Q1/Q2 回答、none 永恒适用；多选题答案字母指向正确/拒绝选项
6. annotator_notes：自由文本记录任何问题

验收标准

• 2000 年后信息泄漏：零容忍
• 事实错误率：< 1–2%
• emit/格式错误：0
• 发现任何泄漏 → 重新审计整个类别（而非仅该条样本）

作者已完成验证

• 全语料 11,218 行 100% 机器审计通过：emit token / 边界 / 格式 / 经济术语 grep / 2000 年后标记扫描，0 失败
• 事实已独立对照 Wikidata 重新查询；已发现并修正一处 Wikidata “Lost Man Booker”（2010 年追溯性奖项）在 1970 年的污染
• 本人工评估集为最终独立检查

搜集汇总

数据集介绍

构建方式

面向时间感知语言模型对知识边界进行内隐建模的需求，该数据集通过多源知识融合与严格时序过滤构建而成。其自由文本样本取自Wikidata中明确早于2000年的真实事实，涵盖十七个奖项类别，并生成以年份标记为引导的回复；通用指令样本则源自databricks-dolly-15k，经多阶段筛查以剔除任何年份相关要素。选择题部分按五种行为范式与两类立场框架组合设计，确保答案无法通过表述立场直接推断。所有样本均经机器审计，确认无边界外知识渗透，且不包含任何显式知识截止声明。

特点

该数据集的核心特征在于以知识边界为2000年的模型骨干为对象，将时间感知能力编码于生成的控制标记之中，而非依赖文本中的明示截止表述。其样本覆盖回忆、预测、拒答、外推及年份无关指令等多重行为象限，并通过零容忍的边界纪律确保训练语料中不泄露任何2001年之后的真实事实。选择题设计借助立场框架与行为类别的正交组合，消解了“None”选项与边界之间的虚假关联，从而支持对模型时序推理能力的细粒度评估。

使用方法

使用该数据集时，需将full_text字段按“指令 [GEN] 控制标记 回答 <|endoftext|>”的格式输入模型，并依据loss_mask_starts_after字段对[GEN]之后的内容进行监督学习。训练配置包含lineA、lineB_none与mc三个文件，分别对应年份锚定自由文本、年份无关指令与多项选择样本。评估阶段可加载human_eval配置，由两名标注者依据准确性、时间标记正确性及未来信息泄露三项指标独立评判，其中泄露检查具有最高优先级。全部样本须确保前缀部分损失掩码为零，以维持控制标记的生成先验。

背景与挑战

背景概述

随着时间感知语言模型研究的深入，如何使模型习得内在的知识边界成为关键课题。Annulus指令微调数据集由相关研究团队于近期构建，旨在为知识截止年份为2000年的Annulus时间感知模型提供骨干训练数据。该数据集的核心设计在于不依赖文本显式声明知识边界，而是通过发射年份控制标记来承载边界信息，进而引导模型在边界内进行事实回忆与预测、在边界外实施拒答或合理外推。其面向文本生成与指令微调任务，涵盖自由文本与多项选择等多种样本形态，对时间感知建模与知识边界评估研究具有推动作用。

当前挑战

时间感知指令微调领域长期面临模型难以准确甄别知识时效性、易将未来信息混入回答等难题。该数据集应对的核心挑战包括：确保边界外样本零后2000年事实泄漏，防范追溯性奖项、无年份现代指涉等隐性污染；仅凭发射年份标记而非文字说明来内化知识边界，需避免任何语词暗示截止年份；多项选择中通过立场框架平衡选项，使正确答案无法经由框架单独识别；以及在构建中严格过滤年份无关样本、维持边界内外行为类别的一致性与可构造性。

常用场景

经典使用场景

在时间感知语言模型的研究脉络中，知识边界的显式建模长期依赖提示词或元数据注入，而annulus-ift-2000开辟了一条以控制符承载时间语义的指令微调路径。该数据集的经典用法是训练Annulus模型在生成起始处自主发射年份控制符——当目标年份位于知识截断点2000年之内时输出[Y{target_year}]，之外时输出<future>，与年份无关时输出[None]——从而将知识边界内化为模型机制而非文本陈述。3,270条年份锚定的自由文本样本与6,679条严格筛选的年份无关指令样本共同构成了这一训练范式的核心语料。

实际应用

在实际部署场景中，该数据集支撑的时间感知模型可服务于对事实时效性高度敏感的问答系统，例如历史赛事结果查询、颁奖记录检索与趋势推演。当用户询问2000年之前的既定事实，模型直接回忆作答；当询问2000年之后的未来走向，模型以基于真实前截断知识的有据预测予以回应，而非虚构确定答案。这种人机交互范式在新闻档案、教育问答、历史研究辅助等领域具有直接的落地价值，亦为构建可信赖AI提供了行为规范样本。

衍生相关工作

围绕annulus-ift-2000，研究者已衍生出若干经典工作方向：其一，将该数据集的发射控制符机制迁移至更大参数规模的基座模型，验证时间边界的内在化是否随规模扩展而保持稳定；其二，基于human_eval配置构建的240项分层人工评估集与80项共享项目的Cohen's κ一致性检验，成为后续时间感知模型评测的方法论参照；其三，Q4预测象限所要求的有据外推范式，启发了将检索增强与时间推理相结合的研究路线，推动时间感知建模从静态截断走向动态演化。