Thingsbaord_dtaset_of_company

该数据集由Seple Device Audit & Analytics系统从ThingsBoard物联网平台（实例：seple.iot-private.cloud）收集和生成。系统通过API调用抓取平台上的设备列表及其关联的遥测数据，旨在实现设备资产的审计、监控与分析。数据内容主要包括设备元数据（如设备标识、配置属性）以及设备上报的时序遥测数据（例如传感器测量值）。收集到的数据经过处理后，用于生成结构化的Excel审计报告和基于Plotly/Dash的交互式HTML仪表板，以支持设备状态可视化、趋势分析和运维决策。该数据集适用于物联网设备管理、运维数据分析、时间序列预测及监控仪表板开发等场景。

This dataset is collected and generated by the Seple Device Audit & Analytics system from the ThingsBoard IoT platform (instance: seple.iot-private.cloud). The system captures device lists and associated telemetry data from the platform via API calls, aiming to achieve device asset auditing, monitoring, and analysis. The data content primarily includes device metadata (such as device identifiers and configuration attributes) and time-series telemetry data reported by devices (e.g., sensor measurements). The collected data is processed to generate structured Excel audit reports and interactive HTML dashboards based on Plotly/Dash, supporting device status visualization, trend analysis, and operational decision-making. The dataset is suitable for scenarios such as IoT device management, operational data analysis, time-series forecasting, and monitoring dashboard development.

原始信息汇总

数据集概述：Seple Device Audit & Analytics

该数据集是用于从ThingsBoard平台抓取设备信息、收集遥测数据、生成报告并创建交互式仪表盘的系统。

数据集来源与目标

• 数据源：ThingsBoard物联网平台（主机地址：https://seple.iot-private.cloud）
• 主要功能：设备发现、数据收集、全量数据提取与状态处理
• 输出文件：
  • Excel报告：tb_audit_v7.xlsx
  • 交互式仪表盘：tb_dashboard_v7.html（基于Plotly/Dash）

数据处理工具与组件

• 核心脚本：
  • TB_Device_Audit_v7.ipynb / TB_Device_Audit_v6.ipynb：设备发现与数据采集
  • TB_Full_Harvest_v8.ipynb：全量数据提取与状态处理
  • run_nightly_audit.py：每日自动化执行脚本
• 依赖库：pandas、plotly、requests、selenium、openpyxl、dotenv

使用方式

1. 手动运行：在Jupyter或VS Code中打开.ipynb文件并执行单元格
2. 自动化运行：执行run_nightly_audit.py脚本，会自动执行笔记本、生成报告至audit_reports/文件夹，并可配置发送Slack和邮件通知
3. 查看仪表盘：直接打开生成的tb_dashboard_v7.html文件

配置要求

需创建.env文件，包含以下字段：

• TB_HOST：ThingsBoard主机地址
• TB_EMAIL：登录邮箱
• TB_PASSWORD：登录密码
• REQUEST_DELAY：请求延迟（默认0.2秒）

数据访问与复制

数据集的源代码托管于GitHub仓库：https://github.com/Itinerant18/Data_scrapping_thgingsboard_ml-intern.git，可通过克隆仓库获取完整项目文件。

搜集汇总

数据集介绍

构建方式

该数据集源自Seple Device Audit & Analytics系统，通过Python与Jupyter环境构建，旨在对ThingsBoard物联网平台中的设备进行系统性审计与分析。构建过程涵盖设备发现、遥测数据采集、状态处理及报告生成等多个环节，核心技术组件包括TB_Device_Audit_v7.ipynb与TB_Full_Harvest_v8.ipynb，分别负责设备清单梳理与全量数据提取。自动化脚本run_nightly_audit.py实现了每日定时执行，完成数据抓取后自动生成Excel报告与交互式仪表盘，形成完整的设备数据闭环。

特点

数据集以ThingsBoard平台为数据源，聚焦企业级物联网设备的运行状态与遥测信息，呈现出结构化与多维度的特点。其核心优势在于自动化程度高，从凭证配置、数据采集到报告输出均可通过环境变量与脚本一键完成。报告以tb_audit_v7.xlsx形式呈现，便于进行离线分析；同时tb_dashboard_v7.html基于Plotly与Dash构建，支持动态可视化交互，能够直观展示设备群体行为与关键指标波动。

使用方法

数据集的使用需先完成环境配置，包括克隆代码仓库、安装依赖及设置.env文件中的ThingsBoard凭证。用户可选择在Jupyter或VS Code中手动运行核心笔记本，逐单元执行设备审计与数据采集流程。若需定期更新数据，则可通过运行run_nightly_audit.py脚本实现自动化，该脚本将按日触发任务，输出报告至audit_reports/目录，并支持通过Slack与邮件发送通知。最终生成的仪表盘文件可直接在浏览器中打开，实现数据探索与监控。

背景与挑战

背景概述

该数据集由一位独立研究者于2023年创建，旨在解决物联网设备管理中的数据碎片化与可观测性不足问题。核心研究问题聚焦于如何通过系统化数据抓取与自动化分析，实现对ThingsBoard平台所管理设备的全面审计与性能监控。数据集通过爬取设备遥测数据、生成结构化报告及交互式仪表盘，为工业物联网场景下的设备健康评估与异常检测提供了基准资源。尽管该数据集尚未形成广泛的影响力，但其开源属性与自动化流程设计为中小型物联网部署中的运维效率提升开辟了新路径。

当前挑战

所解决的领域问题在于，物联网设备数据分散且格式异构，传统人工审计难以覆盖大规模部署，导致设备状态不可知与故障响应滞后。该数据集通过统一抓取遥测数据并生成报告，显著提升了可观测性。构建过程中面临的挑战包括：多租户环境下ThingsBoard API的速率限制与认证复杂性；动态设备注册列表的实时同步难题；以及遥测数据中缺失值、时间戳跳变等噪声干扰的清洗与标准化处理。此外，自动化脚本需兼容不同版本的ThingsBoard实例，增加了系统鲁棒性的设计难度。

常用场景

经典使用场景

ThingsBoard数据集在物联网设备审计与分析领域具有广泛的应用前景。该数据集通过系统化地采集ThingsBoard平台上的设备清单、遥测数据及运行状态，构建了一个多维度的设备运维数据库。研究者可借助此数据集开展设备发现与注册一致性校验、遥测数据流的完整性分析以及设备生命周期状态追踪等经典研究任务。数据集所包含的时序遥测数据尤为珍贵，能够支撑对设备行为模式的深度挖掘，如异常检测、周期性规律识别以及设备间协同关系的建模分析。此外，报表生成与交互式仪表盘的结合，为数据可视化与动态监控研究提供了标准化范例。

实际应用

在实际工业场景中，ThingsBoard数据集可被直接应用于设备运维监控与自动化管理。企业可利用该数据集构建智能运维仪表盘，实时追踪数千台IoT设备的健康状况，并基于历史遥测数据设定异常告警阈值，从而降低人工巡检成本。此外，数据集还能服务于资产管理优化，例如通过分析设备在线率与功耗模式，制定更高效的固件批量升级策略。在边缘计算环境下，该数据集可为设备资源调配提供参考，比如根据遥测频率与数据量大小动态分配存储与计算资源。其应用已延伸至智能制造、智慧城市及能源管理等领域，助力实现从被动维修到预测性维护的范式转型。

衍生相关工作

围绕ThingsBoard数据集，衍生出了一系列具有影响力的经典研究工作。基于该数据集，研究者开发了针对物联网平台的自动化数据采集框架，如结合Selenium与REST API的混合爬取策略，显著提升了设备发现的完整性与时效性。在数据分析层面，衍生了面向时序遥测的异常检测算法，包括基于统计阈值与深度学习自编码器的对比研究。此外，交互式仪表盘生成工具链被进一步扩展，形成了支持自定义告警规则与多租户隔离的监控系统。该数据集还催生了关于设备数据治理标准化的探讨，推动制定了设备元数据与遥测字段的命名规范，为跨平台数据融合提供了范例。这些工作共同构建了一个从数据采集到智能决策的完整技术栈。