HITL-IoT: Human-in-the-Loop Intrusion Detection Dataset

HITL-IoT是第一个用于物联网入侵检测的基准数据集，该数据集将人类决策行为纳入标注过程。与传统仅提供自动标注良性/攻击的IDS数据集不同，HITL-IoT包含：安全专业人员的人类判断、分析师置信度评分（0-1范围）、决策延迟（每次决策所需时间）、分析师推理（理由文本）以及专业知识水平概况（专家/中级/新手）。这使得在物联网网络安全中研究人机协作、分析师建模、可信AI和监管合规（欧盟AI法案第14条）成为可能。HITL-IoT is the first benchmark dataset for IoT intrusion detection, which incorporates human decision-making behaviors into the annotation process. Unlike traditional IDS datasets that only provide automatically labeled benign/attack samples, HITL-IoT includes: human judgments from security professionals, analyst confidence scores (ranging from 0 to 1), decision latency (time required for each decision), analyst reasoning (justification text), and expertise level profiles (expert/intermediate/novice). This enables research on human-machine collaboration, analyst modeling, trustworthy AI, and regulatory compliance (Article 14 of the EU AI Act) in IoT cybersecurity.

原始信息汇总

HITL-IoT: Human-in-the-Loop Intrusion Detection Dataset 概述

数据集简介

HITL-IoT是首个为物联网入侵检测设计的基准数据集，其独特之处在于将人类决策行为整合到标注流程中。该数据集不仅包含传统的自动化良性/攻击标签，还收录了来自安全专业人员的判断信息，旨在支持人机协作、分析师建模、可信人工智能及物联网网络安全监管合规性（如欧盟人工智能法案第14条）等方面的研究。

数据集统计

指标	数值
总网络流数量	127,845
良性流数量	108,630 (85%)
攻击流数量	19,215 (15%)
人工标注数量	10,227
专家标注数量	8,230 (80.5%)
中级人员标注数量	1,473 (14.4%)
新手标注数量	524 (5.1%)
物联网设备数量	12
攻击类别数量	12
每条流的特征数量	54 (CICFlowMeter风格)
评估的机器学习基线模型数量	9

数据集内容

核心文件

文件	大小	描述
HITL-IoT_full_dataset.csv	142 MB	完整数据集 (127,845 条流)
HITL-IoT_human_annotations.csv	2.1 MB	人工标注子集 (10,227 条流)
HITL-IoT_baseline_results.csv	1.2 KB	机器学习基线模型结果 (9 个模型)

元数据结构

网络流特征 (54个属性)

• 网络特征： 协议、源/目的端口、源/目的IP地址。
• 流量特征： 发送/接收字节数、包速率、持续时间。
• 行为特征： 连接频率、基线偏差。
• 设备特征： 设备类型、MAC地址。
• 机器学习就绪特征： 风险评分、机器学习置信度、机器学习预测。

人工标注元数据

字段	类型	描述
annotator_id	字符串	专业水平 (专家/中级/新手)
human_decision	二进制	分析师标签 (0=良性, 1=攻击)
human_confidence	浮点数	分析师确信度 (0.0-1.0)
decision_time	浮点数	决策耗时 (秒)
ml_human_agreement	布尔值	机器学习与人工判断是否一致？
ground_truth	二进制	真实标签 (0=良性, 1=攻击)

攻击类别

数据集涵盖十二种不同的物联网攻击家族：

1. 僵尸网络C&C - 命令与控制通信
2. 端口扫描 - 通过端口探测进行网络侦察
3. DNS隧道 - 通过DNS进行隐蔽数据外泄
4. 网络映射 - 拓扑发现与枚举
5. 远程管理 - 未经授权的远程管理尝试
6. 批量数据外泄 - 大规模数据窃取
7. 设备劫持 - 未经授权的设备控制
8. 凭证窃取 - 密码和身份验证信息窃取
9. 配置篡改 - 配置修改攻击
10. 固件漏洞利用 - 固件级攻击
11. 协议滥用 - MQTT、CoAP和物联网协议操纵
12. 服务枚举 - 服务发现和指纹识别

研究应用

主要用例

• 人机协作： 设计协作式入侵检测系统工作流。
• 选择性移交： 研究人工智能应在何时将决策移交给人类。
• 置信度校准： 研究分析师自我评估的准确性。
• 专业水平建模： 理解专家与新手的决策行为差异。
• 法规遵从性： 验证欧盟人工智能法案第14条的监督要求。
• 信任动态： 研究人机团队中信任如何演变。

次要应用

• 警报分类与优先级排序。
• 分析师培训与技能评估。
• 跨数据集的基准比较研究。
• 跨数据集泛化研究。
• 物联网设备行为分析。

基线结果

顶级机器学习模型性能

模型	准确率	F1分数	精确率	召回率	训练时间	推理时间 (微秒)
投票集成	99.60%	98.64%	100.00%	97.31%	13.2秒	247 μs
XGBoost	99.59%	98.61%	99.97%	97.29%	1.67秒	2.3 μs
LightGBM	99.57%	98.54%	99.76%	97.36%	1.15秒	4.1 μs
随机森林	99.48%	98.30%	99.60%	97.04%	14.2秒	6.8 μs
1D-CNN	99.45%	98.20%	99.62%	96.83%	274秒	76 μs
MLP	99.41%	98.07%	99.45%	96.74%	1,704秒	342 μs
LSTM	99.34%	97.82%	99.23%	96.45%	848秒	673 μs
决策树	98.96%	96.65%	98.38%	94.99%	3.2秒	2.1 μs
逻辑回归	97.85%	93.37%	96.14%	90.76%	0.89秒	2.0 μs

关键发现：

• XGBoost表现最优： 在准确率与效率之间达到最佳平衡（99.59%准确率，1.67秒训练时间，2.3微秒推理时间）。
• 零误报： 投票集成模型实现了100%的精确率。
• 满足实时性要求： 基于树的模型支持2-7微秒的推理时间。
• 深度学习成本较高： 训练时间慢100-1000倍，推理时间慢30-300倍。

人工标注性能

专业水平	准确率	平均置信度	预期校准误差	决策时间
专家	92.2%	0.856	0.152	13.4秒
中级人员	84.0%	0.719	0.204	22.1秒
新手	76.9%	0.590	0.256	30.7秒

关键发现：

• 专家校准度更高： 专家的预期校准误差比新手低1.7倍。
• 专家决策速度更快： 专家决策速度是新手的2.3倍（13.4秒 vs 30.7秒）。
• 置信度与专业水平无关： 两者相关性较弱（r=0.087）。
• 决策速度与专业水平强相关。

存储库结构

HITL-IoT/ ├── data/ # 数据文件目录 ├── code/ # 代码目录 ├── benchmarks/ # 基准模型目录 ├── examples/ # 示例笔记本目录 ├── figures/ # 图表目录 ├── docs/ # 文档目录 └── 根目录文件 (README.md, LICENSE, CITATION.cff 等)

下载与验证

• 主要下载地址（Zenodo）： https://doi.org/10.5281/zenodo.17862334
• 数据集托管于Zenodo，拥有永久DOI以便引用。
• 提供SHA256校验和文件 (data/checksums.txt) 用于验证文件完整性。

引用

如果研究中使用此数据集，请引用数据集及相关论文。

• 数据集引用BibTeX格式： 见README文件。
• APA格式： Wakili A., et al. (2025). HITL-IoT: Human-in-the-Loop Intrusion Detection Dataset [Data set]. Zenodo. https://doi.org/10.5281/zenodo.XXXXXXX

许可证

本数据集采用 知识共享署名 4.0 国际许可协议 (CC BY 4.0) 进行许可。

联系信息

• 主要作者： Abubakar Wakili
• 邮箱： [e-mail]
• 机构： 摩洛哥非斯欧罗-地中海大学

搜集汇总

数据集介绍

构建方式

在物联网安全研究领域，HITL-IoT数据集的构建过程体现了对真实世界入侵检测场景的精细化模拟。该数据集通过部署12种物联网设备，在受控环境中捕获了127,845条网络流数据，其中包含108,630条良性流与19,215条攻击流，覆盖了从僵尸网络命令控制到协议滥用等12类攻击家族。其核心创新在于引入了人机协同的标注机制：邀请具备不同专业水平（专家、中级、新手）的安全分析师对10,227条数据流进行人工研判，并同步记录其决策标签、置信度评分、决策耗时及推理文本，从而生成了首个融合人类决策元数据的物联网入侵检测基准数据集。

特点

HITL-IoT数据集最显著的特点在于其多维度的元数据架构。除了包含54项基于CICFlowMeter风格的传统网络流特征外，数据集深度整合了人类行为标注信息，例如分析师的专长等级、决策置信度以及时间延迟，这为研究人机信任动态与决策校准提供了实证基础。数据集中攻击类别的多样性与设备覆盖的广泛性，确保了其在模拟复杂物联网威胁环境方面的代表性。尤为重要的是，数据集揭示了人类专家与机器学习模型在性能上的互补关系：专家分析师的准确率达到92.2%，其决策速度是新手的两倍以上，而集成学习模型则实现了接近完美的检测精度与实时推理能力。

使用方法

该数据集的使用方法围绕其结构化文件展开。研究者可通过加载‘HITL-IoT_full_dataset.csv’获取完整的网络流特征与真实标签，用于训练和评估入侵检测模型；‘HITL-IoT_human_annotations.csv’则专门用于分析人类决策行为，支持对专家与新手的判断差异、置信度校准以及人机协作策略的深入研究。随附的代码库提供了数据加载、预处理和基准模型复现的脚本，例如通过‘data_loader.py’可便捷地按专业等级筛选标注数据。数据集支持从基础机器学习到复杂人机交互工作流程的多种实验范式，包括选择性递延系统设计、分析师建模以及符合欧盟人工智能法案的合规性验证研究。

背景与挑战

背景概述

随着物联网技术的迅猛发展，其安全威胁日益复杂化，传统入侵检测系统（IDS）数据集多聚焦于自动化标注的流量分类，却忽视了人类分析师在安全运维中的决策行为。在此背景下，HITL-IoT数据集于2025年由Abubakar Wakili等研究人员创建，成为首个融合人类决策元数据的物联网入侵检测基准数据集。该数据集旨在推动人机协同安全研究，核心研究问题在于如何量化并整合人类专家的判断、置信度与决策延迟，以增强人工智能系统的可解释性与合规性，尤其响应欧盟《人工智能法案》第14条关于人类监督的要求，对网络安全领域的人机信任建模与分析师行为研究产生了深远影响。

当前挑战

HITL-IoT数据集致力于解决物联网入侵检测中人机协同的复杂挑战，其核心问题在于如何有效融合人类直觉与机器学习模型的优势，以提升检测系统的自适应性与决策透明度。具体挑战包括：在领域层面，需克服人类标注者因专业知识差异导致的决策不一致性，以及如何校准分析师置信度与真实准确性的关联；在构建过程中，面临大规模网络流量采集与标注的协调难题，包括设计严谨的专家分级协议、确保标注过程的时序一致性，并平衡十二类攻击样本的分布以反映真实威胁场景，同时维护数据隐私与格式标准化。

常用场景

经典使用场景

在物联网安全领域，人机协同的入侵检测系统正成为研究热点。HITL-IoT数据集通过整合安全专家的决策元数据，为构建人机协作框架提供了基准测试平台。该数据集最经典的使用场景是模拟真实安全运营中心的工作流程，研究人员能够基于专家、中级分析师和新手的不同标注行为，设计智能系统选择性将可疑流量交由人工复核的机制，从而优化警报分诊与响应效率。

解决学术问题

传统入侵检测数据集缺乏人类决策过程的记录，限制了人机交互模型的深入研究。HITL-IoT数据集首次系统性地收录了标注者的置信度、决策延迟与专业背景信息，有效解决了人机协作中信任校准、专家行为建模以及选择性延迟决策等关键学术问题。其意义在于为符合欧盟《人工智能法案》第十四条等监管要求的人机协同系统提供了可验证的评估基准，推动了可信人工智能在网络安全领域的理论发展。

衍生相关工作

该数据集的发布催生了一系列聚焦于人机协同网络安全的前沿研究。经典衍生工作包括基于决策延迟与置信度建模的智能延迟框架、用于专家与新手行为差异分析的认知计算模型，以及面向欧盟人工智能法规合规性验证的审计工具。这些研究不仅拓展了人机交互在入侵检测中的应用深度，也为构建下一代自适应、可解释的安全运营体系奠定了方法论基础。