killinchu-osint-corpus

killinchu live intel archive 是一个由SZL Holdings发布的实时情报流档案数据集，采用仅追加且内容寻址的设计，旨在为killinchu演示程序提供持续更新的数据源。数据集以NDJSON格式组织，按UTC日期进行分片存储。每条记录包含六个核心字段：schema（模式）、id（内容寻址的SHA256哈希值，用于去重和完整性校验）、ts（时间戳）、source（数据来源标识）、kind（数据类型分类）和payload（实际数据载荷）。主要涵盖三种情报流：1) `adsb-aircraft` 类型，来源于adsb.lol/adsb.fi社区网络的军用ADS-B（广播式自动相关监视）飞机实时位置数据；2) `ais-vessel` 类型，来源于Fintraffic/Digitraffic的AIS（自动识别系统）船舶实时位置数据；3) `osint-item` 类型，为归一化的开放网络开源情报（OSINT）项目，仅在配置相应搜索键时处于活跃状态。数据集特别强调其记录均为第三方声明或自我报告，并非经过验证的客观事实；数据可能被欺骗、延迟或存在错误。记录采用仅追加和有界存储策略，通过身份、UTC小时和约0.10°的地理网格单元进行去重，以确保档案规模稳定可控增长，避免数据泛滥。该数据集适用于开源情报（OSINT）分析、航空与海事监控、数据去重与完整性研究等场景。The killinchu live intel archive is a real-time intelligence stream archive dataset released by SZL Holdings, featuring an append-only and content-addressable design aimed at providing continuously updated data sources for the killinchu demonstration program. The dataset is organized in NDJSON format and sharded by UTC date. Each record contains six core fields: schema, id (content-addressable SHA256 hash value for deduplication and integrity verification), ts (timestamp), source (data source identifier), kind (data type classification), and payload (actual data payload). It primarily covers three types of intelligence streams: 1) `adsb-aircraft`, which consists of real-time position data of military ADS-B (Automatic Dependent Surveillance-Broadcast) aircraft sourced from the adsb.lol/adsb.fi community network; 2) `ais-vessel`, which provides real-time position data of vessels using AIS (Automatic Identification System) sourced from Fintraffic/Digitraffic; 3) `osint-item`, which is a normalized open-source intelligence (OSINT) project over the open web and only becomes active when corresponding search keys are configured. The dataset explicitly states that all records are third-party declarations or self-reported data, and are not verified objective facts; the data may be deceptive, delayed, or contain errors. Records adopt an append-only and bounded storage strategy, with deduplication performed based on record identifiers, UTC hours, and approximately 0.10° geographic grid cells, to ensure stable and controllable growth of the archive scale and avoid data proliferation. This dataset is applicable to scenarios including open-source intelligence (OSINT) analysis, aviation and maritime surveillance, data deduplication and integrity research, and other related use cases.

原始信息汇总

数据集概述：killinchu live intel archive

• 数据集名称: killinchu live intel archive
• 许可证: 其他（license: other）
• 标签: osint, adsb, ais, aviation, maritime, szl-holdings

数据集配置

• 配置名称: intel
• 数据文件: intel/*.ndjson（训练集，按UTC日分片存储为NDJSON格式）

数据内容

每条记录包含以下字段：{schema, id, ts, source, kind, payload}

• schema: 数据模式标识
• id: 基于sha256的内容寻址标识，用于去重和完整性校验
• ts: 时间戳
• source: 数据来源（如adsb、ais）
• kind: 数据类型（如adsb-aircraft、ais-vessel、osint-item）
• payload: 有效载荷

数据流类型

1. adsb-aircraft（来源: adsb）

   • 实时军事ADS-B飞机数据，来自adsb.lol / adsb.fi社区网络。
   • 数据来源: adsb.lol / adsb.fi社区ADS-B（ODbL许可证）。

2. ais-vessel（来源: ais）

   • 实时AIS船舶位置数据，来自Fintraffic / Digitraffic。
   • 数据来源: Fintraffic / Digitraffic（CC BY 4.0许可证）。

3. osint-item（来源: <vertical>）

   • 标准化的开放网络OSINT条目（仅在配置搜索键时激活）。

数据特性与声明

• 每条记录为第三方声明或自我报告，不代表经证实的真实信息。广播位置和开放网络报告可能被伪造、延迟或出错。
• 记录ID是sha256内容寻址，用于去重和完整性，并非DSSE/Ed25519签名，不保证正确性。
• 数据为仅追加且有界：按身份、UTC小时和约0.10°地理网格去重，保证数据集稳定增长而不泛滥。
• 未对任何条目做出“已证明”或“已验证”的声明。

搜集汇总

数据集介绍

构建方式

killinchu-osint-corpus数据集由SZL Holdings维护，旨在归档killinchu演示系统实时摄取的开源情报流。该数据集采用追加写入、内容寻址设计，每个记录通过sha256内容哈希作为唯一标识，实现去重与完整性校验。数据按UTC日分片存储于NDJSON格式文件中，每条记录包含schema、id、ts、source、kind、payload六个字段，分别描述数据结构、标识符、时间戳、数据源、类型及载荷内容。其中，军事航空数据源自adsb.lol/adsb.fi社区网络的ADS-B广播，船舶数据来自Fintraffic/Digitraffic的AIS位置流，开源网络情报则通过配置搜索关键词后由垂直源采集。所有数据遵循每小时每身份每约0.10°网格的边界去重策略，确保持续稳定增长而不导致数据泛滥。

特点

该数据集的核心特点在于其严格的“诚实性”设计哲学。每个记录被明确标注为第三方声明或自我报告，而非经认证的事实，因为广播位置和网络报告可能被伪造、延迟或出错。记录标识符仅用于内容寻址和完整性校验，并非数字签名，不保证正确性。数据集采用追加写入且受边界限制的模式，通过时间与空间维度去重，避免数据洪泛。此外，数据集不输出任何关于数据项的“已证实”或“已验证”断言，保持对信息真实性的中立立场，适合对原始情报流进行独立分析与验证。

使用方法

用户可通过HuggingFace数据集库加载killinchu-osint-corpus，指定配置为'intel'并指向'intel/*.ndjson'路径下的NDJSON文件。每条记录需根据kind字段区分数据流类型：adsb-aircraft用于军事航空追踪，ais-vessel用于船舶位置监控，osint-item则针对开源网络情报。建议使用JSON解析库逐行读取，利用id字段进行内容去重，并依据ts字段进行时间序列分析。由于数据源包含CC BY 4.0和ODbL授权内容，使用时应遵守相应开放数据许可条款，尤其注意第三方的知识产权要求。

背景与挑战

背景概述

killinchu-osint-corpus数据集由SZL Holdings创建，专为实时开源情报（OSINT）流数据归档而设计，发布于HuggingFace平台。该数据集整合了多个实时情报源，包括来自adsb.lol/adsb.fi社区网络的军用ADS-B航空器数据（遵循ODbL许可）、来自Fintraffic/Digitraffic的AIS船舶位置数据（遵循CC BY 4.0许可），以及来自开放网络的OSINT项目。作为仅追加、内容寻址的实时情报流归档库，它为研究人员提供了持续的时空情报快照，尤其适用于航空监控、海上态势感知和开源情报分析等领域的模型训练与评估。该数据集对实时情报数据的标准化处理范式产生了显著影响，推动了OSINT领域的数据共享与协作研究。

当前挑战

该数据集面临多重挑战：在领域问题层面，实时情报流数据天然具有不可靠性——ADS-B广播位置、AIS船舶报告及开放网络信息均可被伪造、延迟或存在误差，数据集明确声明每条记录仅为第三方主张而非经证实的真相，这给模型训练带来了噪声处理与虚假信息过滤的难题。在构建过程中，数据集采用基于sha256的内容寻址机制进行去重，并依据每UTC小时每约0.10°地理单元格的身份标识进行界限约束，以确保归档规模稳定增长而不至泛滥，然而这种去重策略可能导致合法重复变化数据的丢失，且缺乏数字签名（如DSSE/Ed25519）的校验机制，整体数据集无法断言任何项目的证明或验证状态，这些问题共同构成了数据质量保证与可靠性评估的核心挑战。

常用场景

经典使用场景

在实时情报分析与开源智能（OSINT）研究领域，killinchu-osint-corpus数据集为科研人员提供了一个独特的多源异构情报流整合资源。该数据集汇聚了来自社区ADS-B网络的军用航空器实时轨迹、Fintraffic提供的AIS船舶动态位置，以及经过规范化的开放网络OSINT信息项。其经典应用场景在于构建多模态实时监控系统，研究者可利用其内容可寻址的sha256标识符实现去重与完整性校验，结合时间戳与空间网格约束机制，对空中与海上目标的运动模式进行同步追踪与分析，从而推动跨域态势感知方法的创新。

实际应用

在实际部署中，该数据集可服务于海上交通监管、低空飞行器态势监控及紧急事件响应等关键领域。海事管理机构可借助AIS船舶轨迹数据识别异常停泊或航线偏离行为；航空安全部门则能利用ADS-B飞机动态信息辅助追踪不规范飞行的通用航空器。更为深远的是，经归一化处理的开放网络OSINT信息项，能够与实时广播位置数据做交叉验证，为社会安全与物流调度等场景提供线索整合能力，使防范非合作目标的预警系统更加敏锐。

衍生相关工作

基于该档案数据集，学术界与工业界已催生出多项前沿探索。一方面，研究者将其作为训练样本，开发针对稀疏轨迹的时序预测模型，如利用Transformer架构填充因网格去重导致的观测间隙；另一方面，数据集中附带的sha256完整性标识启发了内容可寻址数据库与去中心化情报共享协议的设计思路。此外，通过对比ADS-B与AIS数据中目标报告的时空一致性，衍生出一系列评估第三方广播数据可靠性的基准方法，为构建可信开放情报生态铺平了道路。