Data-Gouv-FR/surveillance-du-sars-cov-2-dans-les-eaux-usees-sumeau

该数据集名为废水中的SARS-CoV-2监测（SUMEau），是一个法国国家废水监测系统数据集，用于追踪SARS-CoV-2病毒在废水中的传播趋势。数据集包含两个主要子集：sumeau-indicateurs（指标数据）和sumeau-stations（站点数据）。指标数据基于病毒浓度（以cg/L表示，通过E基因量化）与氨氮浓度（以mg N/L表示）的比率计算，并使用分层广义可加模型（GAM）进行平滑处理，以反映整体趋势和各站点的特定变化。站点数据提供废水处理站（STEU）的参考信息，包括名称、主要市镇、地理坐标和人口估计。数据集覆盖54个废水处理站，每周更新，旨在早期检测病毒存在并监测病毒在人群中的传播趋势。数据来源为法国政府开放数据平台（data.gouv.fr），但已迁移至法国公共卫生部门的数据门户Odissé。The dataset is named Surveillance of SARS-CoV-2 in Wastewater (SUMEau) and represents a French national wastewater monitoring system for tracking the spread trends of the SARS-CoV-2 virus in wastewater. It includes two main subsets: sumeau-indicateurs (indicator data) and sumeau-stations (station data). The indicator data is calculated based on the ratio between viral concentration of SARS-CoV-2 (expressed in cg/L, quantified from the E gene) and ammonium nitrogen concentration (expressed in mg N/L), smoothed using a hierarchical Generalized Additive Model (GAM) to integrate overall trends and station-specific variations. The station data provides reference information on wastewater treatment plants (STEU), including name, main municipality, geographic coordinates, and population estimates. The dataset covers 54 wastewater treatment stations, is updated weekly, and aims to early detect the virus presence and monitor viral circulation trends in the population. The data originates from the French government open data platform (data.gouv.fr) but has been migrated to the Odissé portal by Santé publique France.

搜集汇总

数据集介绍

构建方式

该数据集源于法国公共卫生部门主导的全国性废水监测计划（SUM'Eau），旨在通过采集54个废水处理厂（STEU）的样本，追踪SARS-CoV-2病毒在人群中的早期传播信号。数据构建基于两个核心文件：一是包含地理位置、处理厂代码及服务人口估算的站点信息表（sumeau_stations），二是记录每周病毒RNA浓度与氨氮比值（cg/L vs mg N/L）的指标表（sumeau_indicateurs）。病毒负载经E基因定量后，除以氨氮浓度以校正稀释效应，再通过层次广义加性模型（GAM）进行平滑化处理，并依据各站点服务人口加权聚合得到全国指标，从而实现了标准化、可比化的废水流调框架。

特点

该数据集的显著特色在于其多维度、动态更新的实时监测能力，每周发布一次，能够敏锐捕捉病毒流行的短期波动与长期趋势。指标构建融合了环境流行病学与统计学方法，GAM模型的使用既保留了整体时间序列的平滑性，又允许各站点展现局部变异，有效应对数据稀疏和噪声问题。站点信息与指标数据通过唯一的STEU名称关联，便于空间与时间维度的交叉分析。值得注意的是，数据集经历了多次技术迭代，如2025年9月将平滑方法从LOESS回归升级为GAM，以及2024年因网络扩展而新增列和站点调整，展现出数据集在方法论与覆盖范围上的持续演进能力。

使用方法

用户可通过Hugging Face的datasets库便捷加载该数据集，例如使用`load_dataset("Data-Gouv-ML/surveillance-du-sars-cov-2-dans-les-eaux-usees-sumeau", "sumeau-indicateurs-2026-01-21-14h00")`调入指标子集，或使用相应配置加载站点信息。每个子集均包含一个名为‘train’的分割，可直接用于时间序列分析、病毒传播建模或可视化。数据集以Parquet格式存储，支持高效的列式读取与内存映射，适合大规模科学计算。建议用户在使用前阅读官方文档中关于平滑模型更新和站点变更的注释，以确保正确解读历史数据中的方法断点。

背景与挑战

背景概述

随着新型冠状病毒肺炎（COVID-19）大流行的持续，废水流行病学作为一种非侵入性、高时效性的群体监测手段，逐渐受到全球公共卫生领域的高度重视。在此背景下，法国公共卫生局（Santé publique France）联合国家食品、环境及职业健康安全署（ANSES）等多个国家卫生机构，在法国卫生部和生态转型部的共同推动下，于2021年启动了“全国废水监测系统”（Surveillance SUM'Eau）。该数据集创建于2023年，旨在通过分析54个污水处理厂（STEU）的废水样本，为SARS-CoV-2病毒在人群中的早期检测与传播趋势追踪提供科学依据。作为法国政府开放数据（data.gouv.fr）的重要成果，该数据集通过高频次（每周）更新的指标，客观上推动了废水监测技术在环境健康预警中的标准化应用，并为法国乃至欧洲的疫情防控策略及废水流行病学研究提供了不可替代的数据基础。

当前挑战

该数据集所解决的领域问题在于，传统基于临床确诊的疫情监测往往存在延迟和偏倚，而废水监测能够更早、更全面地反映病毒在社区中的实际流行状况。在构建过程中，数据集面临了多重挑战：其一，科学层面需要解决病毒浓度与粪便稀释效应之间的非线性关系，因此采用病毒浓度与氨氮浓度的比值作为归一化指标，并引入广义加性模型（GAM）进行平滑处理，以消除随机波动并提升趋势估计的稳健性；其二，操作层面需整合来自54个不同地理和管理背景的监测站点的异构数据，处理站点变更（如2024年Lille监测点从Roubaix-Wattrelos迁至Marquette-Lez-Lille）、采样频率不均与数据缺口（NA值）等实际问题；其三，质量控制层面需纠正因站点识别误差导致的全国指标重新计算（如2023年12月对全国指标的修正），并动态适应2025年9月平滑模型从LOESS回归到GAM算法的重大更新，确保历史可比性与数据连贯性。

常用场景

经典使用场景

该数据集专为监测废水中SARS-CoV-2病毒基因组浓度而设计，核心用途在于通过分析污水处理厂样本中的病毒核酸与氨氮比值，结合广义加性模型（GAM）进行时间序列平滑，以追踪病毒在社区层面的传播动态。研究者和公共卫生机构可借助该数据评估病毒流行趋势，例如识别感染高峰的早期信号、量化不同地区病毒载量的时空异质性，或验证废水监测作为非侵入性流行病学工具的可靠性。其中包含的54个站点级指标与国家聚合指标，为多尺度分析提供了统一框架。

解决学术问题

该数据集精准回应了传统临床监测在覆盖范围与时效性上的局限，解决了废水流行病学中关键的方法学问题：如何从混杂环境样本中提取可靠的病毒传播信号。通过引入氨氮归一化处理与GAM平滑策略，数据集有效校正了采样稀释效应与季节波动，使得低水平病毒载量亦能被稳定识别。这一技术路线推动了群体感染率估计、疫情预警阈值界定以及无症状传播动力学建模等前沿议题的发展，为全球废水监测网络的方法标准化提供了法国范本。

衍生相关工作

该数据集衍生出多项具有影响力的研究工作。一方面，其催生了基于GAM平滑算法的废水信号解析技术，被后续研究改进为时空贝叶斯模型，用于分离本地传播与输入性病例的贡献。另一方面，数据集中的站点评测数据（如人口规模、地理坐标）推动了污水管网拓扑结构与病毒扩散关联性的分析，衍生出诸如“集水区感染密度估算”或“多站点联合预警算法”等经典课题。此外，法国公共卫生署基于此数据开发的交互式可视化平台，已成为欧洲废水监测网络（EU-WWSN）的技术参照模板。