selene-android-paper-artifacts

SELENE Android Paper Artifacts 数据集包含了由 SELENE 从 ARTEMIS 动态 Android 恶意软件分析中生成的紧凑型、面向论文的工件。该数据集按工件类型组织，并包含两个执行环境分裂：android10（Android 10 / API 29）和 android14（Android 14 / API 34）。数据集的主要组成部分包括：syscall 派生的事件（L0.5 层和 L1 语义行为事件）、分析元数据、生命周期事件（从 logcat 提取）、生命周期摘要、运行特征、保真度 oracle 及其证据、不同详细程度的文本上下文表示（compact、standard、evidence-rich），以及用于复现论文中表格（Table 4、5、7）的度量数据。数据规模方面，android10 包含 44,485 个选定运行，73,635,326 个 L0.5 事件和 73,673,283 个 L1 事件；android14 包含 30,751 个选定运行，86,050,148 个 L0.5 事件和 82,843,224 个 L1 事件。两个环境中共有 30,746 个 APK SHA-256 值。数据格式主要为 Parquet 和 JSONL（压缩），可通过 Hugging Face Datasets 库加载。该数据集适用于 Android 恶意软件行为分析、语义事件压缩研究、论文复现以及相关安全研究。使用需遵守 SELENE Paper Artifacts Data License 1.0 和上游 ARTEMIS Dynamic Traces Data License 1.0，并按照指定方式引用论文。The SELENE Android Paper Artifacts dataset contains compact, paper-oriented artifacts generated by SELENE from ARTEMIS dynamic Android malware analysis. The dataset is organized by artifact type and includes two execution environment splits: android10 (Android 10 / API 29) and android14 (Android 14 / API 34). Its main components include: syscall-derived events (L0.5 and L1 semantic behavioral events), analysis metadata, lifecycle events (extracted from logcat), lifecycle summaries, runtime features, fidelity oracle and its evidence, textual context representations at different levels of detail (compact, standard, evidence-rich), and metric data for reproducing tables in the paper (Table 4, 5, 7). In terms of data scale, android10 contains 44,485 selected runs, 73,635,326 L0.5 events and 73,673,283 L1 events; android14 contains 30,751 selected runs, 86,050,148 L0.5 events and 82,843,224 L1 events. There are 30,746 unique APK SHA-256 values across both environments. Data formats are mainly Parquet and JSONL (compressed), loadable via the Hugging Face Datasets library. This dataset is suitable for Android malware behavior analysis, semantic event compression research, paper reproduction, and related security studies. Usage must comply with the SELENE Paper Artifacts Data License 1.0 and the upstream ARTEMIS Dynamic Traces Data License 1.0, with proper citation of the paper.

原始信息汇总

SELENE Android Paper Artifacts 数据集概述

该数据集由SELENE项目从ARTEMIS动态Android恶意软件分析中产生的精简论文面向工件组成，按工件类型组织，并提供android10和android14两个执行环境切分（非训练/测试切分）。

数据集结构

数据集包含14个配置（config），涵盖事件、生命周期、特征、上下文及论文指标等不同工件类型：

配置名	用途
events_l05	时间压缩的系统调用派生事件（论文L0.5层）
events_l1	语义行为事件（默认入口点）
analyses	运行选择和运行身份元数据
lifecycle_events	从logcat提取的目标感知生命周期观察
lifecycle_summary	每次选定运行的单一生命周期摘要行
run_features	每次选定运行的单一L1行为特征行
fidelity_oracle	每个环境的冻结1,000运行验证样本
fidelity_evidence	支持fidelity oracle标签的证据
context_compact	最小的可审计文本上下文表示
context_standard	中等细节的文本上下文表示
context_evidence_rich	最详细的已发布文本上下文表示
table_04_layer_metrics	每次运行的raw/L0/L0.5/L1计数，用于重算论文表4
table_05_storage_metrics	每次运行的派生文件清单及逻辑上下文包测量，用于重算论文表5
table_07_context_metrics	每次运行的令牌成本和信号保留计数，用于重算论文表7

数据规模

环境切分	Android/API	选定运行数	L0.5事件数	L1事件数
android10	10 / 29	44,485	73,635,326	73,673,283
android14	14 / 34	30,751	86,050,148	82,843,224

两个环境共有30,746个APK SHA-256值。数据文件格式包括Parquet和JSONL.ZST。

数据布局

数据采用浅层目录结构，<environment> 为 android10 或 android14：

• 事件行以精确的 (sha256, run_id) 分析身份为键，不跨运行合并。
• 数据文件位于 data/ 下的各子目录中，paper_metrics 目录仅提供android10版本。

使用方式

• Python读取：需安装 pyarrow 和 huggingface_hub，通过HfFileSystem发起HTTP Range请求，利用sha256行组统计信息仅下载候选行组。
• 批量分析：下载所需环境文件并使用相同身份过滤器在本地处理。
• 身份关联：analyses 配置将SELENE run_id 映射到ARTEMIS source_run_id；L1通过 source_event_l0c_id 链接到L0.5。
• SELENE项目CLI：可使用 selene process-trace、selene process-artemis、selene reproduce 和 selene audit 命令进行数据处理、论文结果重算及样本审计。

案例研究：gustuff溯源路径

文档提供了一个具体示例（Android 10环境）：

• APK SHA-256：4d4f85997b11a4a7352910a559991f5bba48660a53b1aceffdf76e5b38292656
• SELENE run_id：99b6eb87-809e-414f-9c0a-069bfd35af33
• ARTEMIS source_run_id：f892c32f-5ee9-43f5-861e-13d2fce63470

该运行返回4,645个L0.5事件和4,996个L1行，可沿事件链追溯到原始strace证据。

处理层级

ARTEMIS原始strace → SELENE L0 → L0.5事件 → L1语义事件 ARTEMIS原始logcat → 生命周期证据 L1 + 生命周期 → 特征和上下文

L0层是原始strace行的结构化归一化，本数据集不包含L0（因体积最大），完整L0系统调用表、图拓扑、可视化、APK二进制等文件也未包含，原始动态分析工件在 serrooT/artemis-android-dynamic-traces 数据集中单独分发。

限制说明

工件代表有限Monkey驱动的模拟器运行期间观察到的行为。事件缺失不证明APK无法执行该行为。SELENE事件类别组织观察证据，非恶意软件判定、家族预测或ATT&CK归因。

许可与引用

数据集采用SELENE Paper Artifacts Data License 1.0，并须同时遵守上游ARTEMIS Dynamic Traces Data License 1.0。商业和非商业使用、分析、修改、衍生数据集和再分发在遵守两许可证的前提下被允许。公开输出须同时引用ARTEMIS和SELENE论文（见CITATION.md）。ARTEMIS论文DOI为10.5753/sbseg.2025.11393；SELENE论文已接受于SBSeg 2026，DOI待定。

作者与联系

• Cláudio Torres Júnior 和 André Grégio — 巴西巴拉那联邦大学（UFPR）信息学系，SecRET
• João Pincovscy — 巴西通信安全研究与发展中心（CEPESC）；UnDF

联系邮箱：[e-mail]、[e-mail]、[e-mail]

搜集汇总

数据集介绍

构建方式

该数据集是SELENE项目从ARTEMIS动态分析Android恶意软件所产生的原始痕迹中提炼出的紧凑型论文配套产物。构建过程遵循严格的层级化处理流程，从ARTEMIS原始strace出发，经SELENE L0层结构化归一化，进而生成L0.5时间压缩事件与L1语义行为事件，同时整合logcat生命周期观测数据。数据集按事件类型与执行环境（android10与android14）组织为多个配置，每个配置包含独立的Parquet或JSONL文件，并保留精确的(sha256, run_id)分析身份标识，确保每条记录可溯源至原始分析运行。

特点

该数据集的核心特点在于其高度的紧凑性与可审计性，同时完整保留了恶意软件分析的关键语义信息。它提供了从L0.5到L1的多层次事件视图，以及生命周期、运行特征、保真度验证和多种上下文的文本表示，满足从宏观统计到细粒度事件审计的多样化需求。尤其值得注意的是，数据集包含用于复现论文中表4、表5和表7的指标文件，使研究者能够直接验证论文结论。此外，数据集明确区分了物理存储大小与逻辑上下文大小，为存储优化研究提供了实证基础。

使用方法

使用者可通过HuggingFace提供的Python接口，利用PyArrow和HuggingFaceHub库进行高效数据读取。推荐采用基于sha256列统计信息的行组过滤策略，仅下载涵盖目标数据的行组，避免加载整个大型事件文件。针对批量分析场景，可下载所需环境的完整文件后进行本地过滤。数据集还提供了SELENE命令行工具，支持从原始strace重建L0/L0.5/L1层次，以及通过`selene reproduce`命令复现论文中的实验结果。此外，数据集的配置结构清晰，未来新增Android环境只需添加相应的split文件即可扩展。

背景与挑战

背景概述

SELENE Android Paper Artifacts数据集由巴西联邦巴拉那大学（UFPR）的Cláudio Torres Júnior、André Grégio及巴西通信安全研发中心（CEPESC）的João Pincovscy等人于2026年发布，旨在支撑其论文《Do Bruto ao Brilho: Compactação Semântica com Preservação de Proveniência para Traços Dinâmicos de Malware Android》中提出的SELENE系统，该系统针对Android恶意软件动态分析中原始系统调用轨迹的语义压缩与来源保留问题，提供从原始strace到L0.5/L1语义事件的分层处理范式。该数据集收录了Android 10和Android 14两个执行环境下逾7.5万个恶意APK分析运行实例，涵盖事件表、生命周期信息、上下文表示及论文关键表复算输入，为恶意软件行为分析、特征提取及动态分析可复现性研究提供了标准化基准，对Android安全领域的数据共享与结果验证具有显著推动作用。

当前挑战

该数据集面临的核心挑战包括：其一，领域层面，Android恶意软件动态分析长期受困于原始系统调用轨迹的高冗余与低语义密度，现有方法难以在压缩数据规模的同时保留行为证据链和来源信息，SELENE通过L0.5/L1分层语义事件力图平衡紧凑性与可审计性；其二，数据构建层面，需在Android 10与14双环境中运行大规模模拟器分析，处理跨版本系统调用差异及海量轨迹（单环境事件数超千万级），并设计多粒度上下文表示以支撑不同分析需求，同时须确保事件间来源映射（如L1至L0.5的`source_event_l0c_id`关联）的完整性与准确性；此外，该数据集刻意排除原始L0表、图拓扑及APK二进制等冗余中间产物，以控制分发规模，但这也对使用者的本地重建能力提出要求，并需应对恶意软件控制端点、凭据等敏感信息未脱敏带来的伦理与安全挑战。

常用场景

经典使用场景

在Android恶意软件动态分析领域，SELENE数据集以其精细分层的语义事件组织方式，成为研究系统调用序列压缩与行为语义提取的基准资源。该数据集提供L0.5层与L1层事件，分别对应时间紧凑型系统调用派生事件和语义行为事件，研究者可借此剖析从原始系统调用到高级行为原语的映射机制，验证行为抽象的有效性与信息保真度。同时，数据集内嵌的多种上下文表征（紧凑、标准、证据丰富）为自然语言处理与可解释分析提供了不同粒度的输入，支持跨层信息关联与线索追踪。

实际应用

在实际应用中，该数据集可直接服务于Android恶意软件检测系统的开发与评测，尤其是需要高效处理动态行为日志的端点安全产品。其分层事件结构与上下文表征可用于训练行为分类模型、优化检测规则或生成可解释的威胁情报报告。此外，数据集的溯源信息支持对具体恶意软件样本（如案例中的gustuff变种）进行深入行为剖析，辅助安全分析师快速定位关键网络外联或文件操作行为，从而加速事件响应与威胁狩猎流程。

衍生相关工作

该数据集为后续研究奠定了可扩展的基础，衍生工作可围绕其分层事件体系展开，例如构建更高层的意图预测模型，或将L0.5/L1事件与外部威胁情报关联以进行家族聚类分析。数据集提供的论文指标契约文件（如表4、5、7的复现输入）鼓励了结果复现与基准测试工作，推动了Android动态分析社区的标准化进程。未来集成新Android环境的分片设计，亦为跨版本恶意软件行为演化研究提供了数据支撑，促进长期、纵向的实证研究。