Seplenovaedge/Thingsbaord_dtaset_of_company

一个基于Python/Jupyter的系统，用于抓取ThingsBoard设备、收集遥测数据、生成报告和创建交互式仪表板。A Python/Jupyter-based system for scraping ThingsBoard devices, harvesting telemetry, generating reports, and creating interactive dashboards.

搜集汇总

数据集介绍

构建方式

Thingsboard_dataset_of_company数据集源自一套专为Seple Device Audit & Analytics设计的系统，旨在通过自动化手段对ThingsBoard物联网平台上的设备进行全面审计与分析。该系统的构建依托于Python和Jupyter环境，核心流程包括设备发现、遥测数据采集、状态处理及报告生成。具体而言，系统通过TB_Full_Harvest_v11.ipynb笔记本实现设备全量数据的提取与状态解析，并借助run_nightly_audit.py脚本实现每日自动化的审计运行。此外，通过pull_current_state_snapshots.py脚本按夜间隔采集每一设备的当前状态快照，包含活跃状态、最后断开与连接时间等关键信息，最终输出为结构化的CSV文件与Excel报告。整个构建流程以模块化设计为基石，兼顾手动操作与定时自动执行的双重便利。

特点

该数据集的核心特点在于其全面性与自动化程度的高度整合。首先，数据集覆盖了ThingsBoard平台上所有设备的完整遥测历史与实时状态，不仅包含每夜快照的时序记录，还衍生出设备离线与恢复的明细追踪（如offline_recoveries.csv），为设备可靠性分析提供坚实的数据基础。其次，数据采集过程引入了可配置的请求延迟参数，有效规避了对平台API的过度调用，保障了系统稳定性。此外，数据集的输出形式多元，涵盖CSV、Excel和交互式Plotly/Dash仪表板（tb_dashboard_v7.html），用户可直接通过HTML文件进行可视化探索。系统还支持Slack与邮件通知机制，确保审计异常能够被及时传达，显著提升了运维效率。

使用方法

使用者可通过两种主要方式利用该数据集进行设备审计与分析。手动方式下，用户需在Jupyter或VS Code环境中打开TB_Full_Harvest_v11.ipynb笔记本，逐单元执行以触发完整的数据提取与报告生成流程。自动化方式则依赖于run_nightly_audit.py脚本，该脚本可被配置为每日定时运行，自动执行笔记本、生成审计报告并发送通知。对于需要持续监控设备状态的场景，用户可通过pull_current_state_snapshots.py脚本按夜间隔拉取状态快照，并通过schedule_current_state_snapshot.ps1脚本在Windows任务计划程序中注册定时任务。最终生成的CSV数据可直接载入数据分析工具，而HTML仪表板则适合快速浏览设备整体健康状态，实现从数据采集到洞察的无缝衔接。

背景与挑战

背景概述

ThingsBoard作为一款开源物联网平台，广泛应用于设备连接、数据采集与远程监控等场景。然而，随着物联网设备规模的急剧膨胀，设备状态的实时追踪、历史遥测数据的有效管理以及设备健康状况的自动化评估，成为企业运维中亟待解决的难题。该数据集由Seple公司内部研究团队于2024年创建，核心研究问题聚焦于如何通过自动化脚本与数据分析工具，高效地完成ThingsBoard平台中海量设备的审计、遥测数据采集与可视化报告生成。该数据集不仅为设备生命周期管理提供了标准化流程，还通过每日快照与离线恢复分析，显著提升了设备异常检测的时效性，对物联网资产管理领域具有重要的实践指导意义。

当前挑战

所解决的领域问题在于，物联网设备数量激增导致人工审计效率低下，且设备频繁掉线、遥测数据碎片化给运维带来巨大挑战。该数据集通过自动化爬取与状态快照机制，解决了设备状态持续性监测的难题，同时将离散的遥测数据整合为结构化报告，降低了决策延迟。构建过程中面临的挑战包括：ThingsBoard API的认证与速率限制，需通过环境变量配置确保数据抓取的稳定性；设备离线恢复点的精准识别，要求跨多时间窗口的关联分析；以及跨平台自动化调度（如Windows任务计划程序与Python脚本的集成），需要兼顾执行环境的兼容性与日志的完整性，最终实现从数据采集到仪表盘展示的全链路自动化闭环。

常用场景

经典使用场景

Thingsboard_dataset_of_company是一个专为工业物联网设备审计与遥测数据分析而构建的数据集。其经典使用场景包括对ThingsBoard平台上注册的各类设备进行全量发现与状态采集，提取设备的关键遥测指标，如活跃状态、最近连接与断开时间戳，并基于这些数据生成结构化的Excel报表与交互式Plotly/Dash仪表盘。该数据集特别适用于需要每日自动执行设备健康度快照、离线恢复记录追踪及历史状态比对的运维场景，为大规模设备集群提供标准化的数据资产清单与可视化分析入口。

解决学术问题

在学术研究中，该数据集有效解决了物联网设备运维领域长期存在的非结构化日志碎片化问题，将离散的遥测数据整合为可量化、可复现的状态快照序列。它支持研究人员开展设备离在线模式分析、故障恢复周期估算以及异常连接行为建模，填补了从原始平台API到结构化审计数据集之间的转化空白。其意义在于为边缘计算可靠性评估、工业物联网韧性度量等交叉课题提供标准化的实证基础，推动设备全生命周期管理从经验驱动走向数据驱动。

衍生相关工作

围绕该数据集衍生出一系列经典工作。基于其结构化的设备状态时间序列，研究者开发了连接失效率预测模型，利用LSTM对下一时间窗口的批量离线事件进行预警。另有多智能体强化学习框架将其作为奖励信号源，优化设备重启与信道切换策略。此外，该数据集还催生了面向工业物联网的异常检测基准测试，对比了Isolation Forest、Autoencoder等算法在真实设备运维场景下的召回率与误报率表现，成为该领域比较研究的参考数据集。