Data-Gouv-FR/donnees-de-laboratoires-pour-le-depistage-a-compter-du-18-05-2022-si-dep

该数据集包含法国实验室用于SARS-COV2检测的数据，源自SI-DEP（信息系统检测）系统，涵盖自2022年5月18日起的RT-PCR和抗原检测结果，由城市实验室、医院、药剂师、医生和护士提供。数据包括病毒学监测指标，用于跟踪COVID-19疫情，并涉及多个地理层级（如大都市区、市镇、IRIS区、EPCI、省份、地区和国家）。数据集格式为Parquet和CSV，更新频率原为每日（除周末和节假日），后调整为每周。2023年7月1日后，因法律框架调整，个人数据处理停止，监测指标转为每周发布。数据集还包括历史数据（如IRIS层月度文件）和地理参考更新（如字段名称变更）。This dataset contains data from French laboratories for SARS-COV2 screening, sourced from the SI-DEP (Information System for Screening) system, covering RT-PCR and antigen test results from city laboratories, hospitals, pharmacists, doctors, and nurses starting from May 18, 2022. It includes virological surveillance indicators for monitoring the COVID-19 epidemic across various geographical levels (e.g., metropolitan areas, municipalities, IRIS zones, EPCIs, departments, regions, and national). The data is in Parquet and CSV formats, with update frequencies originally daily (excluding weekends and holidays) and later shifted to weekly. After July 1, 2023, due to legal framework adjustments, personal data processing ceased, and surveillance indicators are published weekly. The dataset also includes historical data (e.g., monthly files for IRIS layer) and updates to geographical references (e.g., field name changes).

搜集汇总

数据集介绍

构建方式

该数据集源自法国公共卫生局（Santé publique France）的SI-DEP筛查信息系统，旨在汇聚全国范围内实验室和医疗机构进行的SARS-CoV-2检测数据，包括RT-PCR及抗原检测结果。构建过程中，原始数据自2022年5月18日起按照新的格式进行整理，并依据地理层级（如大都市区、市镇、IRIS街区、EPCI、省份、大区及国家）划分出八个子集，每个子集以Parquet格式存储于Hugging Face仓库中，以确保数据的高效读取与调用。

特点

数据集的特点在于其精细的多层级地理粒度与时间连续性，覆盖从每日（7日滚动）到每周的指标更新，能够支持从地方到全国尺度的流行病学分析。此外，数据遵循法国开放许可协议，并包含详细的方法学注释，如2022年8月对地理参考字段的标准化调整，以及自2023年7月起因法律框架变化而转为仅发布周度病毒学指标，体现了在疫情动态下的及时演进与政策适应性。

使用方法

使用者可通过Hugging Face的`datasets`库便捷加载数据，例如选择`sp-metro-7j-opendata-2023-06-30-16h28`配置，调用`load_dataset`函数即可获得包含训练集（train）的Dataset对象，便于进行统计建模或可视化探索。该数据集特别适合流行病学研究、公共卫生政策评估及机器学习预测任务，但需注意自2023年7月起数据发布频率调整为每周，且住院指标已不再提供。

背景与挑战

背景概述

该数据集由法国公共卫生机构（Santé publique France）于2022年5月18日创建，依托SI-DEP病毒学监测信息系统，旨在公开自该日起法国实验室用于COVID-19筛查的检测数据。数据集收录了RT-PCR与抗原检测的详细指标，涵盖从国家、区域到市镇、街区（IRIS）等多空间尺度，并以周或日频次更新。作为法国开放数据运动（data.gouv.fr）的重要组成部分，它支撑了流行病学监测与政策制定，为研究病毒传播动态、检测覆盖率及区域差异提供了高时空分辨率的权威数据基础，对全球公共卫生数据共享实践产生了示范效应。

当前挑战

数据集面临的核心挑战在于处理流行病学监测中的复杂性与动态性：需平衡高频率数据更新与周末及节假日发布暂停之间的信息连续性，同时应对2022年7月起地理和人口参考基准年度调整导致的字段名变更（如epci2020改为epci），避免分析误差。此外，2023年7月后因法律框架变化停止处理个人数据，需转向仅以周频发布聚合指标，这对历史数据一致性维护与模型迁移学习提出了严峻考验。构建过程中则需融合来自实验室、药房、诊所及医院等多源异构数据，并确保分钟级数据整合的准确性与隐私合规性。

常用场景

经典使用场景

该数据集汇聚了法国自2022年5月18日起由SI-DEP系统采集的实验室检测数据，涵盖RT-PCR及抗原检测结果，并按地理层级（如大都市区、市镇、IRIS街区、EPCI、省份、大区及国家）与时间粒度（7日滑动及周度）进行组织。研究人员常利用这些细粒度的时空聚合数据，构建流行病学监测模型，分析新冠病毒传播的动态趋势与地域差异，或评估非药物干预措施对病毒传播的影响。

解决学术问题

在学术研究中，该数据集有效解决了因检测策略或变异株更替导致的监测指标变化问题，支持研究者调整现有预测模型或开发新的预警算法。通过其规范化的历史记录，学者得以探讨开放数据在公共卫生应急响应中的实际价值，特别是如何利用高分辨率检测数据弥补住院指标的缺失，从而维持对疫情态势的精准把握。

衍生相关工作

基于此数据集，衍生出若干经典工作。例如，研究人员将其与基因组监测数据结合，建立了变异株流行率的时空推断模型；另有团队利用其高时空分辨率特性，改进了经典的SEIR模型参数校准方法，使之能捕捉局部隔离政策的效果。此外，数据中还蕴含了因2022年字段标准化（如epci2020变更为epci）带来的版本化案例，推动了开放数据管理最佳实践的研究。