遇见数据集

live-facts-snapshot

收藏
Hugging Face2026-06-21 更新2026-06-22 收录
官方服务:

资源简介:

Live Facts Snapshot 是一个每日更新的可验证世界状态事实快照数据集,专门收集语言模型在训练数据截止日期后无法获知的实时真实世界信息。该数据集通过 Dynamic Feed(一个动态可验证数据 API)导出,每个响应都经过 Ed25519 数字签名,确保数据完整性和来源可追溯性。数据以每日一个 JSONL 文件(格式为 data/YYYY-MM-DD.jsonl)组织,每行包含一个独立的事实记录,附带来源信息、来源 URL 和精确测量时间戳。覆盖的事实类型包括:软件版本(如 Python 最新发布版本和生命周期状态)、美国基准货币市场利率(如 EFFR, SOFR)、美国国债收益率曲线及利差、近期被利用的漏洞(来自 CISA KEV 和 EPSS 评分)以及全球主要金融市场(如纽交所、纳斯达克、伦敦证交所等)的开闭市状态。数据来源于多个权威机构,如美国联邦储备银行、美国财政部、CISA 等,每行数据明确标注上游来源和适用许可证(如 MIT、美国公共领域、CC BY 4.0)。数据集文件的第一行为元数据记录,包含导出日期、API 调用详情和原始 API 响应的 Ed25519 签名,后续行为结构化的事实数据,字段包括工具类型、事实描述、数值、单位、测量时间、来源、许可证以及包含额外细节的结构化字段。该数据集适用于需要实时、可验证外部知识进行增强的问答系统、知识库更新或事实核查等任务。

Live Facts Snapshot is a daily-updated verifiable world state fact snapshot dataset that specializes in collecting real-time real-world information that language models cannot acquire after their training data cutoff dates. This dataset is exported via Dynamic Feed, a dynamic verifiable data API, and each response is signed with an Ed25519 digital signature to ensure data integrity and source traceability. The data is organized into one JSONL file per day following the path format `data/YYYY-MM-DD.jsonl`. Each line contains an independent fact record, paired with source information, source URL, and precise measurement timestamp. Covered fact types include: software versions (e.g., the latest released versions and lifecycle statuses of Python), U.S. benchmark money market interest rates (e.g., EFFR, SOFR), U.S. Treasury yield curves and spreads, recently exploited vulnerabilities sourced from CISA KEV and EPSS scores, and opening and closing statuses of major global financial markets including the New York Stock Exchange, NASDAQ, London Stock Exchange, and others. The data is collected from multiple authoritative institutions including the U.S. Federal Reserve Banks, U.S. Department of the Treasury, CISA, and others. Each line clearly marks the upstream source and applicable license (e.g., MIT, U.S. Public Domain, CC BY 4.0). The first line of each dataset file is a metadata record containing the export date, API call details, and the Ed25519 signature of the original API response. The remaining lines are structured fact data, with fields including tool type, fact description, numerical value, unit, measurement time, source, license, and structured fields containing additional details. This dataset is suitable for tasks such as question answering systems that require real-time, verifiable external knowledge for augmentation, knowledge base updates, or fact-checking.

创建时间:
2026-06-12
原始信息汇总

数据集概述:Live Facts Snapshot (daily verifiable world-state facts)

Live Facts Snapshot 是一个每日更新的可验证世界状态事实数据集,旨在提供语言模型训练数据截止日期后的实时事实。所有数据均来源于权威上游,并通过 Ed25519 签名进行验证,确保数据来源的透明性和完整性。


核心特性

  • 更新频率:每日快照,文件命名格式为 data/YYYY-MM-DD.jsonl
  • 数据格式:每行一个 JSON 格式的事实记录,每日文件首行为 _meta 元数据记录。
  • 签名验证:每个 API 响应均使用 Ed25519 私钥签名(密钥 ID: df-ed25519-4cb32e72f333),支持终端到终端的签名验证。
  • 许可证:每行记录携带独立的 licence 字段,数据来源包括美国联邦政府公共领域(US public domain)、MIT 许可证、CC BY 4.0 等。

覆盖的事实类别

工具 事实内容 上游数据源 数据许可证
software_version 当前 Python 发行版版本号及 EOL 状态 endoflife.date MIT
interest_rates 美国基准货币市场利率(EFFR、SOFR、OBFR 等) 纽约联邦储备银行 美国公共领域
treasury_yields 美国国债收益率曲线(1M-30Y)、10Y-2Y/10Y-3M 利差及衰退信号 美国财政部 美国公共领域(17 USC §105)
exploited_vulnerabilities 近 20 条 CISA KEV 漏洞记录(已确认为野外利用)及 EPSS 评分 CISA KEV + FIRST.org EPSS 美国公共领域(CISA);EPSS 需署名(FIRST.org)
market_hours 主要交易所(NYSE、NASDAQ、LSE、TSE、ASX、加密货币、外汇等)的开闭市状态 Dynamic Feed(基于交易所日历计算) CC BY 4.0(Dynamic Feed)

文件结构

  • 首行(_meta 记录):包含导出日期、API 调用信息及 Ed25519 签名对象。
  • 后续行(事实记录)
    • tool: 生成该事实的 Dynamic Feed 工具名称
    • fact: 人类可读的事实标签(如 US Treasury par yield 10Y
    • value: 事实的值(数字、字符串或布尔值)
    • unit: 单位(如 percent
    • measured_at: 事实测量/生效时间(UTC)
    • source / source_url: 该行数据的上游来源及 URL
    • licence: 行级许可证信息
    • detail: 结构化扩展信息(如完整 KEV 条目、EOL 日期、交易时段等)

数据获取

  • 实时 API:无密钥、无需注册,通过 POST /v1/batch 端点访问。
  • 本地加载:支持标准 JSON 加载,需过滤 _meta 为 true 的行。

签名验证

搜集汇总
数据集介绍
live-facts-snapshot 数据集图片
构建方式
Live Facts Snapshot 数据集由 Dynamic Feed 平台每日生成,以 JSONL 格式存储。每个文件的首行为 `_meta` 记录,包含导出日期、API 调用详情及 Ed25519 签名,确保数据完整性与可追溯性。其余行对应单一事实,每条记录均标注了来源、来源 URL 及测量时间(measured_at),数据源自美国联邦储备银行、美国财政部、CISA KEV、FIRST.org EPSS 等权威机构,涵盖利率、国债收益率、软件版本、市场状态及已利用漏洞等类别。
使用方法
用户可通过 Python 加载本地 JSONL 文件,读取 `_meta` 记录后按行解析事实数据。此外,Dynamic Feed 提供无密钥的 REST API 端点 `POST /v1/batch`,支持按需获取最新数据。使用 `datasets` 库加载时需过滤 `_meta` 为 `true` 的行。签名验证可通过访问 `https://dynamicfeed.ai/proof` 在线进行,或按照 Ed25519 签名规范自行校验。
背景与挑战
背景概述
Live Facts Snapshot数据集由Dynamic Feed团队于2025年创建,旨在为大型语言模型提供超越训练数据截止时间的可验证世界状态事实。该数据集聚焦于后训练期知识更新的关键需求,涵盖美国基准利率、国债收益率、已利用漏洞、市场交易状态及软件版本等高频变化领域。通过每日快照机制与Ed25519数字签名技术,每个数据点均携带来源、来源URL及测量时间戳,开创了可溯源、防篡改的实时事实数据范式。其在人工智能领域的影响力体现在为问答系统提供了可靠的实时知识基础,弥补了静态训练数据的固有缺陷,成为连接动态世界与静态模型的重要桥梁。
当前挑战
该数据集面临的核心挑战包括:1)领域问题层面,大型语言模型因训练数据截止日期导致对利率变动、安全漏洞等动态事实的认知滞后,亟需一种机制将实时世界状态持续注入推理过程;2)构建过程中,需从联邦储备银行、美国财政部、CISA等多个权威来源聚合异构数据,并确保跨来源的数据格式统一与时间对齐;3)为保障数据可信性,每条记录需独立承载来源信息与Ed25519签名,这对签名验证系统的鲁棒性提出了严苛要求;4)每日更新频率下,数据采集的完整性与时效性之间的平衡构成持续性工程挑战。
常用场景
经典使用场景
在大型语言模型的后训练时代,模型固有的知识截断使其无法感知动态演化的真实世界状态。Live Facts Snapshot数据集恰如其分地充当了一座桥梁,将每日更新的、经过Ed25519签名验证的权威事实注入模型推理流程。其最经典的使用场景是在问答任务中融合实时信息:例如,当用户询问“当前美国10年期国债收益率是多少?”或“最新被CISA确认在野利用的CVE漏洞是什么?”时,模型可通过查询该数据集的快照文件,获取带有精确时间戳和来源锚定的数值,从而生成准确、可溯源且时效性极强的回答,弥补了静态训练数据的根本性缺陷。
解决学术问题
该数据集精准回应当前自然语言处理与知识工程交叉领域中的核心难题:如何让语言模型可靠地感知训练截止日期之后的世界状态,并确保输出的可验证性。它从根源上缓解了知识蒸馏中的时效性瓶颈,并挑战了传统问答系统中“知识即记忆”的范式。通过提供每日快照,研究人员可以系统性地评估模型在开放世界动态事实上的泛化与对齐能力,探索基于符号事实与黑盒模型协同推理的混合架构。其内置的行级来源与Ed25519签名机制,为研究信息溯源、内容真实性校验以及防范模型幻觉提供了坚实的数据基础,推动了可解释人工智能与可信赖知识系统的发展。
实际应用
该数据集的实践边界极为广阔,尤其擅长赋能金融科技与网络安全领域的高频决策系统。金融分析师可以借助其中包含的EFFR、SOFR及交易时间片段,构建实时资产定价或风险预警模型,而无需直接对接多个零散的政府API。安全运营团队则可利用“被利用漏洞”子集与EPSS评分,动态调整漏洞修复的优先级排序,实现主动防御。此外,软件版本管理的自动化工具也能从中获取Python等语言的发布周期与终止支持日期,辅助企业规划技术栈的升级路线。每一行事实的独立许可证和来源标注,也极大地降低了商业应用中数据合规的复杂度和法律风险。
数据集最近研究
最新研究方向
在大型语言模型(LLM)持续面临训练数据截止日期后知识失真的背景下,Live Facts Snapshot数据集为模型提供了一份每日可验证、具来源可溯性与Ed25519密码学签名的全球事实快照,涵盖基准利率、国债收益率、被利用漏洞(CISA KEV)及市场交易状态等高频更新的关键领域。该数据集不仅支持多行独立溯源授权,还通过一次性无密钥开放API降低了接入门槛,成为当前研究热点中用于增强检索增强生成(RAG)系统可信度、实现实时世界状态对齐以及推动模型输出可审计性的基石性资源。其设计理念将密码学签名与传统数据集结合,为防范数据投毒、确保事实性和来源权威性设立了新范式,对构建安全可靠的AI知识基础设施具有里程碑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务