artemis-android-dynamic-traces

ARTEMIS Android Dynamic Traces 是一个公开数据集，由 ARTEMIS 平台在受控模拟器中执行 Android 应用程序并收集动态分析痕迹所得。该数据集包含了在 Android 10（API 29）和 Android 14（API 34）两种环境下的运行分析产物，但不包含 APK 二进制文件。数据集保留了原始分析产物，未进行任何内容编辑、清洗、归一化或重新压缩。数据集的组织结构包含目录、JSONL、Parquet 表格和 TAR 分片，每个运行包含 metadata.json、analysis.log 等文件，适用于防御性安全研究，特别是恶意软件行为分析、动态分析特征提取和机器学习模型训练。ARTEMIS Android Dynamic Traces is a public dataset produced by the ARTEMIS platform by executing Android applications in a controlled emulator and collecting dynamic analysis traces. The dataset includes analysis artifacts from two environments: Android 10 (API 29) and Android 14 (API 34), but does not contain APK binary files. The dataset preserves raw analysis artifacts without any content editing, cleaning, normalization, or recompression. The dataset structure includes directories, JSONL files, Parquet tables, and TAR shards. Each run contains metadata.json, analysis.log, and optional subdirectories. It is suitable for defensive security research, particularly malware behavior analysis, dynamic analysis feature extraction, and machine learning model training.

原始信息汇总

ARTEMIS Android 动态追踪数据集

数据集概述

ARTEMIS Android 动态追踪数据集（serrooT/artemis-android-dynamic-traces）包含在受控模拟器中执行 Android 应用并收集的动态分析产物。该数据集涵盖 Android 10（API 29）和 Android 14（API 34）环境下的运行记录，但不包含 APK 二进制文件。公开数据集地址为：https://huggingface.co/datasets/serrooT/artemis-android-dynamic-traces

数据集结构

顶层目录布局

• data/android10/：Android 10 环境数据
• data/android14/：Android 14 环境数据
• metadata/：包含论文指标和 VirusTotal 首次出现时间索引
• 每个环境目录包含 catalog.jsonl、analyses.parquet、artifacts.parquet 和 shards/（TAR 分片）

配置（Configs）

• analyses（默认）：包含 Android 10 和 Android 14 的分析结果（Parquet 格式）
• artifacts：包含 Android 10 和 Android 14 的产物索引
• virustotal_first_seen：已分析 APK 的首次出现时间索引
• paper_table03_storage：Android 10 存储测量数据
• paper_table10_storage：配对的 Android 10 和 Android 14 测量数据

数据规模

环境	编目运行数	产物数	源字节数	TAR 分片数	TAR 字节数
Android 10	111,495	553,913	536,655,216,770	276	537,088,573,440
Android 14	33,649	255,227	208,266,156,133	98	208,461,455,360
总计	145,144	809,140	744,921,372,903	374	745,550,028,800

运行产物详情

每个 TAR 文件保持 ARTEMIS 的 APK/运行层级结构：<sha256>/analysis_runs/<run_id>/。主要产物包括：

产物及路径	说明	Android 10 数量	Android 14 数量	编码
analysis.log	ARTEMIS 分析器执行日志	111,495	33,649	纯文本
metadata.json	结构化运行/APK/模拟器/追踪器/输入模拟/时间/错误元数据	111,495	33,649	JSON
results/strace.txt.zst 或 .txt	目标执行期间观察到的 Linux 系统调用	44,605	30,775	通常为 Zstandard（39 个 Android 10 和 24 个 Android 14 文件为纯文本）
results/device_logs/logcat_<timestamp>.txt.zst 或 .txt	Android logcat	44,458	31,006	通常为 Zstandard
results/device_logs/processes_<timestamp>.txt	进程快照（ps -A）	44,452	31,006	纯文本
results/device_logs/memory_<timestamp>.txt	设备/进程内存快照（dumpsys meminfo）	44,441	30,998	纯文本
results/device_logs/properties_<timestamp>.txt	Android 系统属性（getprop）	44,452	31,006	纯文本
results/device_logs/final_log_<timestamp>.txt/device.log.zst 或 .log	结果收集期间捕获的最终设备日志	43,654	30,629	通常为 Zstandard
results/error_logs/device.log.zst	失败或中断运行的设备日志	64,861	2,509	Zstandard

关键说明

• 运行身份：稳定公开运行身份为 (environment, sha256, source_run_id)，其中 environment 为 android10 或 android14，source_run_id 为运行目录中使用的 UUID
• 数据保真：产物按原始状态保留，不做脱敏、清洗、归一化或重新压缩
• TAR 存储：每个 TAR 文件包含完整的运行，运行不会跨文件分割
• strace 存在性：并非每次运行都包含系统调用追踪，失败的运行通常仅包含 analysis.log、metadata.json 和错误设备日志
• Android 14 与 Android 10 关系：所有 Android 14 APK SHA-256 值均存在于 Android 10 集中，但大多数 Android 10 APK 没有 Android 14 运行

元数据文件说明

analyses.parquet

每行对应一次编目运行，包含 context_id、dataset_name、sha256、source_run_id、android_version、api_level、observer、input_method、status、duration_sec、error_type、package_name、abis 和 abi_parse_warning 等列。

artifacts.parquet

每行对应一个归档文件，包含身份信息、TAR 位置（路径、字节偏移、大小）、完整性校验（SHA-256）、源溯源信息及配对文件处理状态。

metadata/virustotal/first_seen_index.parquet

包含 111,495 个唯一 APK SHA-256 值的 first_seen、first_seen_year 和 scan_date。缺失的 first_seen 保持 null，不替换为 scan_date。

许可与引用

• 许可：ARTEMIS 动态追踪数据许可 1.0（ARTEMIS Dynamic Traces Data License 1.0），许可文件位于：https://huggingface.co/datasets/serrooT/artemis-android-dynamic-traces/blob/main/LICENSE
• 引用要求：使用追踪数据和 ARTEMIS 产出的元数据或索引的公开成果必须引用 ARTEMIS 论文（详见 CITATION.md），论文引用信息为：Cláudio Torres Júnior 等人，“ARTEMIS: Uma Plataforma Modular para Execução, Monitoramento e Investigação de Aplicativos Android Suspeitos,” Anais do XXV Simpósio Brasileiro de Cibersegurança (SBSeg 2025), pages 147–162, 2025, https://doi.org/10.5753/sbseg.2025.11393

负责任使用说明

原始追踪可能包含恶意软件控制的端点、标识符、参数和模拟环境中的路径，保留作为科学观察数据。该数据集仅用于防御性安全研究，使用者须遵守适用的法律和机构政策。

数据集维护者

Cláudio Torres Júnior — 巴拉那联邦大学（UFPR）信息学系；SecRET 实验室，巴西库里蒂巴。邮箱：[e-mail]

搜集汇总

数据集介绍

构建方式

该数据集由ARTEMIS平台在受控模拟器中执行Android应用程序并收集动态分析痕迹而构建。数据覆盖Android 10（API 29）和Android 14（API 34）两个执行环境，每个环境包含catalog.jsonl原始目录、analyses.parquet精简索引表、artifacts.parquet逐文件清单以及分块存储的TAR压缩包。每个TAR包内保留APK到分析运行的完整层级，涵盖分析日志、元数据、系统调用跟踪、设备日志及错误日志等文件。原始痕迹未经任何清洗或重组，Zstandard压缩文件保留原始字节，路径与文件内容均按收集时状态原样封存。

特点

数据集规模宏大，包含145,144次运行记录与809,140个分析文件，总源字节数达744,921,372,903。其核心特征在于真实性：所有痕迹均未经过滤或规范化，忠实呈现运行时的原始数据。稳定性方面，每个运行具有唯一身份标识(environment, sha256, source_run_id)，支持未来增量扩展。此外，数据集的索引Parquet文件提供字节偏移量，允许通过HTTP Range高效访问单个文件，而无需下载整个TAR包，极大提升了数据获取的灵活性和效率。

使用方法

使用者可通过huggingface_hub库下载所需环境的数据，或利用artifacts.parquet索引精确提取特定APK的运行数据。示例代码展示了如何基于SHA-256和运行UUID定位并解压对应TAR成员。对于大规模分析，建议使用analyses.parquet进行元数据筛选，结合artifacts.parquet的偏移量实现按需读取。数据集还附带VirusTotal首次出现时间索引，便于按时间维度筛选样本。所有使用需遵循ARTEMIS动态痕迹数据许可1.0，并在发表成果时引用指定文献。

背景与挑战

背景概述

ARTEMIS Android Dynamic Traces数据集由巴西巴拉那联邦大学SecRET实验室的Cláudio Torres Júnior等人创建，于2025年发布，旨在为Android恶意软件动态分析提供大规模、可复现的轨迹数据。该数据集基于ARTEMIS平台，在受控模拟器中执行Android应用（Android 10和Android 14），收集包括系统调用轨迹（strace）、logcat日志、进程和内存快照等丰富的动态分析产物，覆盖145,144次运行，涉及111,495个APK样本。其核心研究问题在于支持对Android应用行为的深入理解与恶意软件检测，为安全研究社区提供可验证的原始数据层，影响动态分析、威胁情报及可复现性研究。

当前挑战

该数据集面临的挑战涵盖领域问题与构建难点。领域层面，Android应用动态分析需应对恶意软件的行为混淆、环境对抗及系统调用多样性，传统静态分析难以捕捉运行时行为，而动态分析则面临覆盖度不足与可扩展性瓶颈。构建过程中，需处理大规模模拟器执行的可控性与资源消耗，确保轨迹采集的完整性与准确性；同时，原始数据包含未经净化的敏感信息（如恶意软件控制的端点），需平衡科学保留与负责任使用；此外，跨Android版本（10与14）的兼容性、运行失败的处理及严格的完整性校验（如Zstandard压缩保留原始字节）均构成技术挑战，最终需设计高效的存储与索引方案（如TAR分片与Parquet元数据）以支持约746GB数据的高效访问。

常用场景

经典使用场景

ARTEMIS Android Dynamic Traces数据集为移动安全研究领域提供了一套大规模、跨版本的安卓应用动态分析轨迹资源。其经典使用场景聚焦于恶意软件行为剖析与检测，研究者可依托Android 10与Android 14双环境下的系统调用轨迹（strace）、日志猫（logcat）及进程内存快照，深入洞察应用运行时的敏感操作与恶意行为模式。该数据集保留了原始未清洗的痕迹数据，确保了行为分析的客观性，为基于动态行为的安卓恶意软件分类、家族识别及新型威胁发现提供了坚实的实证基础。

解决学术问题

该数据集直面安卓恶意软件研究中的可复现性危机与多版本适配难题。传统动态分析数据集或规模有限，或缺乏跨系统版本的对照，导致研究结论难以泛化。本数据集通过双环境（Android 10/14）配对设计，解决了恶意行为跨版本演化分析的问题，使得研究者能够区分系统版本差异与恶意行为本质的关联。同时，其提供的结构化索引（analyses.parquet）与完整的运行元数据，显著降低了动态分析研究中的复现门槛，推动了可验证、可对比的实证研究范式，对移动安全学术生态的健康发展具有重要贡献。

衍生相关工作

围绕该数据集，可衍生出多项前沿研究议题。例如，开发基于深度学习的行为序列分析模型，用于自动提取恶意行为的高层语义特征；构建跨版本的行为差异分析框架，探索安卓系统升级对恶意软件存活能力的影响；以及设计高效的动态分析加速方法，通过数据集的索引结构实现精准的痕迹检索与重放。此外，基于该数据集的规模，可支撑构建大规模安卓应用行为基准测试集，为评估动态分析工具的有效性提供统一参照。这些衍生工作将极大丰富移动安全领域的方法论体系。