CICIOT_Cleaned

### CICIoT 2023 Dataset Nettoyé (TP Gestion Données USMS 2026) **CICIoT 2023 Dataset - Version Nettoyée pour Travaux Pratiques sur la Cybersécurité IoT** #### Identification * **Titre :** CICIoT 2023 - Cleaned Subset for Data Management TP * **Auteur :** [Votre Nom] (ORCID: [Votre ORCID]) * **Date création :** 22 Mai 2024 * **Version :** 1.0.0 (Post-nettoyage Partie 3 TP) * **Licence :** CC BY-SA 4.0 #### Contexte & Objectif Sous-ensemble du dataset **CICIoT 2023** (profilage du trafic réseau IoT pour la détection d'attaques) nettoyé dans le cadre du TP "Mise en place stratégie gestion données recherche" (USMS Sultan Moulay Slimane). Ce travail démontre l'application des étapes de nettoyage (doublons, valeurs manquantes, Z-score) et le respect des principes FAIR. #### Source Originale * **Source :** [Canadian Institute for Cybersecurity (UNB)](https://www.unb.ca/cic/datasets/iotdataset-2023.html) * **Fichier traité :** `part-00164-363d1ba3-8ab5-4f96-bc25-4d5862db7cb9-c000.csv` (281 086 lignes brutes). #### Transformations Appliquées | Opération | Détails | Résultat | |-----------|---------|----------| | **Doublons** | `df.drop_duplicates()` | 0 supprimés (flux uniques) | | **Manquants** | `df.dropna()` | 28 lignes supprimées | | **Z-Score** | Identification via $Z > 3$ | Anomalies détectées (ex: Rate, Duration) | | **Timestamp** | Conversion String → Datetime | Format ISO standardisé | | **Label** | Nettoyage des chaînes (strip/capitalize) | Labels catégoriels uniformisés | | **Export** | Sauvegarde CSV sans index | `CICIoT2023_cleaned.csv` | #### Description des Variables Principales | Variable | Type | Description | Exemple | Stats | |----------|------|-------------|---------|-------| | **flow_duration** | float | Durée du flux réseau | 0.0706 | mean=5.8 | | **Header_Length** | float | Longueur de l'en-tête | 33990.0 | - | | **Protocol Type** | float | Type de protocole (numérique) | 17.0 | TCP/UDP/ICMP | | **Rate** | float | Débit de transmission | 9670.36 | anomalies Z>3 | | **label** | str | Type de trafic (Normal/Attaque) | Ddos-udp | 34 classes | #### Contact [Mohamed ELMOUDEN] - Doctorant / Étudiant USMS Email : [[e-mail]] | ORCID : [0009-0002-1806-5024]### CICIoT 2023 清洗数据集（USMS 2026数据管理课程实践项目） **CICIoT 2023 数据集——面向物联网网络安全课程实践的清洗版本** #### 基本信息 * **标题：** CICIoT 2023 - 面向数据管理课程实践的清洗子集 * **作者：** [您的姓名]（ORCID（开放研究者与贡献者标识）：[您的ORCID编号]） * **创建日期：** 2024年5月22日 * **版本：** 1.0.0（课程实践第三部分清洗后版本） * **许可证：** CC BY-SA 4.0 #### 背景与目标 本数据集为CICIoT 2023数据集（用于物联网网络流量画像与攻击检测）的子集，由摩洛哥苏丹穆莱·斯利曼大学（USMS）的“研究数据管理策略搭建”课程实践项目清洗整理。本工作展示了数据清洗全流程（去重、缺失值处理、Z分数异常检测）的实际应用，并严格遵循FAIR数据原则。 #### 原始来源 * **来源：** [加拿大网络安全研究所（UNB）](https://www.unb.ca/cic/datasets/iotdataset-2023.html) * **处理文件：** `part-00164-363d1ba3-8ab5-4f96-bc25-4d5862db7cb9-c000.csv`（共281086条原始数据行） #### 应用的数据处理操作 | 处理操作 | 细节说明 | 处理结果 | |---------|---------|----------| | **去重** | 使用`df.drop_duplicates()`实现 | 无重复数据（0条重复记录被删除） | | **缺失值处理** | 使用`df.dropna()`实现 | 删除28条含缺失值的记录 | | **Z分数异常检测** | 通过$Z > 3$阈值识别异常值 | 检测到异常值（如传输速率、流时长字段） | | **时间戳标准化** | 将字符串格式转换为Datetime格式 | 采用ISO标准格式统一规范 | | **标签清洗** | 对标签字符串执行去空格、首字母大写处理 | 实现分类标签格式统一 | | **导出保存** | 无索引导出为CSV文件 | 生成最终文件`CICIoT2023_cleaned.csv` | #### 核心变量说明 | 变量名 | 数据类型 | 变量说明 | 示例值 | 统计信息 | |----------|------|-------------|---------|-------| | **flow_duration** | float | 网络流时长 | 0.0706 | 均值=5.8 | | **Header_Length** | float | 报文头部长度 | 33990.0 | - | | **Protocol Type** | float | 协议类型（数值编码） | 17.0 | 对应TCP/UDP/ICMP协议 | | **Rate** | float | 传输速率 | 9670.36 | 存在Z>3的异常值 | | **label** | str | 流量类型（正常/攻击） | Ddos-udp | 共34个分类标签 | #### 联系方式 [Mohamed ELMOUDEN]——摩洛哥苏丹穆莱·斯利曼大学博士生/学生 邮箱：[[e-mail]] | ORCID（开放研究者与贡献者标识）：[0009-0002-1806-5024]