Base de connaissances sur les produits phytopharmaceutiques à partir de sources ouvertes (C3PO)

Contexte De nombreuses substances entrant dans la composition des produits phytopharmaceutiques (PPP) ont un impact démontré sur la santé et l’environnement. Les études s’intéressant à ces impacts peuvent mobiliser plusieurs sources de données de référence gérées par différentes structures et ne reposant pas systématiquement sur des référentiels communs. Différents acteurs travaillant sur le croisement et le rapprochement des données relatives aux PPP ont pu relever la difficulté d'exploiter et de rapprocher ces différentes sources. Afin de répondre à ce besoin et de faciliter la diffusion des informations publiques relatives aux produits phytopharmaceutiques et aux substances constituant ces derniers, la Base de Connaissances sur les Produits PhytoPharmaceutiques à partir de sources Ouvertes (C3PO) a été initiée par l'Office Français de la Biodiversité, porteur de ce projet dans le cadre du challenge Green Data For Health. Ce travail a été en grande partie réalisé grâce à l'aide des bénévoles qui ont participé au projet C3PO dans le cadre de ce challenge. Les informations contenues dans C3PO proviennent de diverses sources de données ouvertes de référence. La source de données « pivot » de C3PO est la Banque nationale de ventes par les distributeurs agréés (BNV-D). Cette dernière répertorie depuis 2008 les données d'achats et de ventes des produits phytopharmaceutiques sur le territoire français. La base de données C3PO s'adresse à tous les acteurs travaillant sur des thématiques liées aux pressions exercées par les substances et produits phytopharmaceutiques (notamment institutions publiques et gouvernementales, organismes de recherche, bureaux d'étude ou encore associations). Version La version de la base C3PO actuellement diffusée est la V1.2, les versions antérieures restent disponibles en téléchargement dans la section "AUTRES" ci-dessous. Sources de données mobilisées La base C3PO diffuse des informations relatives aux substances et produits répertoriés dans la dernière version disponible des données ouvertes de la BNV-D. Des informations issues des dernières versions en vigueur des sources de données suivantes sont ensuite ajoutées à cette liste des substances et produits de la BNV-D : Référentiels Sandre - OFB/OIEau : le référentiel "Paramètres" est utilisé pour récupérer le code paramètre associé à la substance. Le référentiel "Groupes de paramètres" est ensuite mobilisé pour récupérer les informations relatives à la famille chimique et aux fonctions (herbicides, insecticides, fongicides, etc.) associées au code paramètre. Agritox - Anses : données essentielles (identité, propriétés physico-chimiques, toxicité aiguë, valeurs toxicologiques de référence, écotoxicité, classement) des substances actives approuvées au titre du Règlement (CE) N°1107/2009. Tableau d'entrées harmonisées disponible à l'annexe VI du CLP - Adaptation to Technical Progress (ATP) - ECHA : contenant toutes les mises à jour de la classification et de l’étiquetage harmonisés (CLH) des substances dangereuses au titre du règlement CLP (CE) N°1272/2008. EU Pesticides Database (EU PDB) - Commission Européenne : contenant des informations sur les substances actives (y compris les substances à faible risque ou candidats à substitution) et les substances de base, approuvées ou non dans l’Union Européenne. E-phy - Anses : accès à l'ensemble des données des produits (produits phytopharmaceutiques, matières fertilisantes et supports de culture, adjuvants, produits mixtes et mélanges) couverts par une autorisation de mise sur le marché (AMM) ou un permis de commerce parallèle (PCP). On y trouve notamment comme informations : numéro d’AMM ou de permis, nom commercial, type de produit, substances et données afférentes (phrases de risque, teneur en substance active…), ainsi que les usages du produit. Registre Parcellaire Graphique - Table référentielle des cultures et des groupes de cultures - IGN : table propre à la diffusion du RPG, la notion de groupe de culture dans cette table ne correspond pas à la notion de groupe de cultures du règlement PAC ni à celle des référentiels ISIS. Dans cette table, chaque code culture est expliqué par un libellé et lié à un code de groupe de culture et son libellé. Les informations issues de ces sources de données sont intégrées dans la base de données C3PO soit de manière "brute" (sans retraitement de leur contenu avant intégration en base) soit après traitements (informations brutes extraites des sources de données puis traitées en vue de l'intégration en base). Contenu Le modèle de données de la base C3PO est élaboré suivant une logique par source de données, il se décline en sept schémas : bnvd, comportant des informations relatives aux substances (années de vente, fonctions, classification RPD) et aux produits (type d’autorisation, - AMM ou PCP -, dont dispose le produit pour sa commercialisation en France, années de ventes, composition en substances, emploi autorisé dans les jardins) répertoriés dans les données ouvertes de la BNV-D ; agritox, comportant une table de jointure entre substances de Agritox et de la BNV-D, ainsi que des informations relatives à ces substances (propriétés physico-chimiques, toxicité, écotoxicité, catégories et mentions de danger) ; atp, comportant une table de jointure entre substances du tableau d’entrées harmonisées disponible à l’annexe VI du règlement CLP (ATP) et de la BNV-D , ainsi que des informations relatives à ces substances (identifiants, catégories et mentions de danger) ; eupdb, comportant une table de jointure entre substances de la base de données de l’Union Européenne sur les pesticides (EU Pesticides Database) et de la BNV-D, ainsi que des informations relatives à ces substances (statut d’autorisation dans les Etats-Membres de l’UE, dates de début et de fin d’approbation, autres indications relevant de la réglementation européenne : substances de base, candidates à substitution ou à faible risque) ; sandre, comportant une table de jointure entre substances du référentiel « Paramètres » du Sandre et de la BNV-D, ainsi que des informations relatives à ces substances (groupes de paramètres, famille et fonction auxquels elles sont affiliées) ; ephy, comportant : ○ une table de jointure entre substances de E-phy et de la BNV-D, ainsi que des informations relatives à ces substances (variants, état d’autorisation en France) ; ○ deux tables de jointure entre produits de E-phy (une pour les AMM et une pour les PCP) et de la BNV-D, ainsi que des informations relatives à ces produits (dénominations et type commerciaux, titulaire de l’AMM, détenteur du PCP, état d’autorisation, composition en substances, usages dont culture autorisées suivant la nomenclature E-phy ainsi que suivant la nomenclature du RPG, mentions de danger et phrases de risque) ; c3po : schéma comportant deux tables de métadonnées de la base C3PO Les tables constituant chacun de ces schémas sont diffusées sur cette page sous forme de fichiers .csv, leur contenu est détaillé dans le fichier _datapaper_C3PO_V2.0.pdf_. Structure des données Versions 1 et suivantes Les données sont diffusées dans un fichier .zip (nomenclature : c3po{numéro de version}{date au format aaaammjj.zip), comportant plusieurs fichiers .csv (un fichier par table intégrée de chaque schéma de la base de données) qui suivent la nomenclature {nom du schéma}_{nom de la table}.csv. Les fichiers .csv sont les suivants : bnvd_substance.csv : Liste et informations uniques (fonctions, première et dernière années de vente, dernière classification RPD connue) des substances répertoriées dans la BNV-D. bnvd_ref_classification.csv : Informations annuelles des classifications et mentions RPD de chaque substance de la BNV-D. bnvd_substance_classification.csv : Table de jointure entre bnvd_substance et bnvd_ref_classification. bnvd_amm.csv : Liste et informations uniques (première et dernière années de vente, conditionnement) des produits ayant disposé ou disposant d’une AMM et répertoriés dans la BNV-D. bnvd_amm_evol_composition.csv : Informations annuelles associées à chaque produit ayant disposé ou disposant d’une AMM et répertorié au moins une fois dans l’historique de ventes de la BNV-D (composition en substances. bnvd_pcp.csv : Liste et informations uniques (première et dernière années de vente, conditionnement) des produits ayant disposé ou disposant d’un PCP et répertoriés dans la BNV-D. bnvd_pcp_evol_composition.csv : Informations annuelles associées à chaque produit ayant disposé ou disposant d’un PCP et répertorié au moins une fois dans l’historique de ventes de la BNV-D (composition en substances. sandre_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances du référentiel « Paramètres » du Sandre. sandre_parametres.csv : Liste et informations uniques (code sandre, libellé et numéro CAS) des substances du référentiel « Paramètres » du Sandre disposant d’un numéro CAS. sandre_gpes_parametres.csv : Liste et informations uniques (code sandre, libellé, famille chimique et fonction) des substances du référentiel « Groupes de Paramètres » pour les paramètres Sandre disposant d’un numéro CAS et affiliées au groupe de paramètres de code Sandre « 95 » (Phytosanitaires). sandreparametres gpes_parametres.csv : Table de jointure entre les tables sandre_parametres et sandre_gpes_parametres. eupdb_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de la EU PDB. eupdb_substance.csv : Liste et informations uniques (statut d’autorisation dans les Etats-Membres de l’UE, dates de début et de fin d’approbation, autres indications relevant de la réglementation européenne : substances de base, candidates à substitution ou à faible risque) des substances de la EU PDB. agritox_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de Agritox. agritox_substance.csv : Liste et informations uniques (dénomination, identifiants et formule chimique, masse molaire, pureté) des substances de Agritox. agritox_substance_classement.csv : Classement (classification, catégories et mentions de danger) des substances de Agritox. agritox_substance_proprietes_pc.csv : Propriétés physico-chimiques des substances de Agritox. agritox_substance_toxicite.csv : Données de toxicité des substances de Agritox. agritox_substance_ecotoxicite.csv : Données d’écotoxicité des substances de Agritox. agritox_substance_vtr.csv : Valeurs toxicologiques de référence des substances de Agritox. atp_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de l’ATP. atp_substance.csv : Liste et informations uniques (dénomination) des substances de l’ATP. atp_substance_classement.csv : Classement (classification, catégories et mentions de danger) des substances de l’ATP. ephy_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de E-phy. ephy_substance.csv : Liste et informations uniques (identifiants, liste de variants, état d’autorisation) des substances de E-phy. Remarque : la liste des noms de variants est stockée dans un même et unique champ, en cas d’existence de plusieurs noms de variants pour une même substance, ils sont séparés par « | ». ephy_substance_variants.csv : Détail des variants i.e. des autres noms possibles pour la substance d’après E-phy, un variant par ligne. _Remarque : les informations contenues dans cette table ont été obtenues après extraction des modalités de variants séparées par « | » dans le champ ‘variant’ de la table ephysubstance. ephy_amm_bnvd.csv : Table de jointure entre produits de la BNV-D et de E-phy disposant d’une AMM. ephy_pcp_bnvd.csv : Table de jointure entre produits de la BNV-D et de E-phy disposant d’un PCP. ephy_amm.csv : Liste et informations uniques (identifiants, titulaire de l’AMM, type de produit, type commercial, état d’autorisation) des produits de E-phy disposant d’une AMM. ephy_pcp.csv : Liste et informations uniques (identifiants, détenteur du PCP, type de produit, type commercial, état d’autorisation) des produits de E-phy disposant d’un PCP. ephy_pcp_origine.csv : Informations relatives à l’origine des PCP. ephy_amm_second_nom.csv : Seconds noms éventuels des produits de E-phy disposant d’une AMM. ephy_amm_composition.csv : Informations relatives à la composition en substances des produits de E-phy disposant d’une AMM. ephy_amm_usage.csv : Informations relatives aux usages des produits de E-phy disposant d’une AMM. ephy_ref_culture_rpg.csv : Nomenclature des cultures et groupes de cultures du RPG (version 2.1). ephy_usage_culture.csv : Table de jointure entre les usages des produits d’après E-phy (ephy_amm_usage.csv) et les cultures suivant la nomenclature du RPG (ephy_ref_culture_rpg.csv). ephy_amm_mention_danger.csv : Informations relatives aux mentions de danger associées aux produits de E-phy disposant d’une AMM. ephy_amm_phrase_risque.csv : Informations relatives aux phrases de risque associées aux produits de E-phy disposant d’une AMM. c3po_source.csv : Table comportant les métadonnées relatives à chaque source de données intégrées à la version correspondante de la base C3PO. c3po_version.csv : Table comportant les métadonnées relatives à la version correspondante de C3PO. Les données sont encodées en UTF-8, séparées par un point-virgule, le point est utilisé comme séparateur décimal, les données de type Texte sont encadrées par des double quotes. Version prototype Cette version est archivée dans la partie "AUTRES" de l'onglet "Fichiers". Les tables sont empaquetées dans des fichiers .zip. substance_20230802.zip contient les 12 fichiers .csv du schéma "substance", produits à partir des données sources extraites le 02/08/2023 amm_20230802.zip contient les 8 fichiers .csv du schéma "amm", produits à partir des données sources extraites le 02/08/2023 Les données sont encodées en UTF-8, séparées par un point-virgule, le point est utilisé comme séparateur décimal, les données de type Texte sont encadrées par des double quotes. Diffusion des données L'Office Français de la Biodiversité (OFB) a initié la base de données C3PO et réalisé les traitements nécessaires à sa production à partir des sources de données ouvertes détaillées sur cette page. Les scripts Notebook Jupyter (python) permettant de mettre à jour les fichiers .csv diffusés sur cette page sont accessibles sur la page suivante : https://gitlab.com/data-challenge-gd4h/c3po/-/tree/main (licence Cecill-B v1).

背景：众多构成植物保护产品（PPP）的物质已被证实对健康和环境产生影响。关注这些影响的研究可能需要动员多个数据参考来源，而这些来源由不同的机构管理，且并非始终基于共同的标准参照体系。从事PPP相关数据交叉和对比的各方已经意识到，整合和比较这些不同来源的数据存在困难。为满足这一需求，并促进与植物保护产品及其组成成分相关的公共信息的传播，法国生物多样性办公室（OFB）在“绿色数据健康挑战”框架内启动了“基于开放来源的植物保护产品知识库”（C3PO）项目。该项目的大部分工作得益于志愿者在C3PO项目中的参与。C3PO中的信息来源于多个开放数据参考来源。C3PO的“核心”数据来源为国家授权分销商销售数据库（BNV-D）。该数据库自2008年以来记录了法国领土上植物保护产品的购买和销售数据。C3PO数据库面向所有从事与植物保护产品及组成成分相关的主题（包括公共机构、政府部门、研究机构、研究机构、协会等）的工作者。版本：目前发布的C3PO数据库版本为V1.2，早期版本仍可在下方的“其他”部分下载。数据来源：C3PO数据库传播有关BNV-D最新版本中列出的物质和产品的信息。然后，从以下数据来源的最新有效版本中添加有关这些物质和产品的信息：Sandre - OFB/OIEau参考标准：“参数”参考用于检索与物质相关的参数代码。“参数组”参考用于检索与参数代码相关的化学家族和功能（除草剂、杀虫剂、杀菌剂等）信息。Agritox - Anses：根据（CE）第1107/2009号法规批准的活性物质的必要信息（身份、物理化学性质、急性毒性、参考毒理学值、生态毒性、分类）。CLP法规附件VI中提供的调和输入表 - 技术进步适应（ATP）- ECHA：包含根据CLP（CE）第1272/2008号法规对危险物质进行调和分类和标签的所有更新（CLH）。欧盟杀虫剂数据库（EU PDB）- 欧洲委员会：包含有关批准或未批准于欧盟的活性物质（包括低风险物质或替代候选物质）和基础物质的信息。E-phy - Anses：访问受市场授权（AMM）或平行贸易许可（PCP）覆盖的所有产品数据（植物保护产品、肥料和栽培材料、添加剂、混合产品和混合物）。其中包括如下信息：AMM或PCP编号、商品名称、产品类型、物质和相关信息（风险语句、活性成分含量等），以及产品的使用方式。土地登记图 - 农作物和作物组参考表 - IGN：专门用于RPG传播的表格，该表中的作物组概念与PAC法规中的作物组概念以及ISIS参考标准中的概念不符。在此表中，每个作物代码都通过标签进行解释，并与作物组代码及其标签相关联。这些数据来源的信息被整合到C3PO数据库中，要么以“原始”形式（在整合到数据库之前不处理其内容），要么在处理之后（从数据源中提取的原始信息然后进行处理以供数据库整合）。内容：C3PO数据库的数据模型按照数据来源的逻辑构建，分为七个方案：bnvd，包含关于BNV-D中列出的物质（销售年份、功能、RPD分类）和产品的信息（商业授权类型，AMM或PCP，产品在法国商业化的条件，销售年份，物质组成，在花园中允许的使用）以及BNV-D中的数据；Agritox，包含Agritox和BNV-D中物质的连接表，以及有关这些物质的信息（物理化学性质、毒性、生态毒性、危险类别和说明）；ATP，包含CLP法规附件VI中提供的调和输入表（ATP）和BNV-D中物质的连接表，以及有关这些物质的信息（标识符、危险类别和说明）；EUPDB，包含欧盟杀虫剂数据库（EU PDB）和BNV-D中物质的连接表，以及有关这些物质的信息（在欧盟成员国的授权状态、批准开始和结束日期，以及其他与欧洲法规相关的指示：基础物质、替代候选物质或低风险物质）；Sandre，包含Sandre“参数”参考和BNV-D中物质的连接表，以及有关这些物质的信息（参数组、归属的化学家族和功能）；Ephy，包含：○Ephy和BNV-D中物质的连接表，以及有关这些物质的信息（变体、在法国的授权状态）；○Ephy产品（AMM和PCP）和BNV-D的连接表，以及有关这些产品的信息（名称和商业类型、AMM持有人、PCP持有人、授权状态、物质组成、根据Ephy命名法和RPG命名法的允许使用、危险说明和风险语句）；C3PO：包含C3PO数据库两个元数据表的方案。每个方案的构成表作为.csv文件在此页上发布，其内容在_datapaper_C3PO_V2.0.pdf_文件中详细说明。数据结构：版本1及以后版本数据以.zip文件（命名法：c3po{版本号}{日期格式aaaammjj.zip）的形式分发，包含多个.csv文件（每个方案中每个整合表的文件），遵循{noms du schéma}_{nom de la table}.csv的命名法。以下.csv文件包括：bnvd_substance.csv：BNV-D中列出的物质（功能、首次和最后销售年份、最后已知的RPD分类）的唯一列表和信息。bnvd_ref_classification.csv：BNV-D中每个物质的年度RPD分类和说明信息。bnvd_substance_classification.csv：bnvd_substance和bnvd_ref_classification之间的连接表。bnvd_amm.csv：BNV-D中拥有或拥有AMM的产品的唯一列表和信息（首次和最后销售年份、包装）。bnvd_amm_evol_composition.csv：与至少在BNV-D销售历史中记录一次的拥有或拥有AMM的产品相关的年度信息（物质组成）。bnvd_pcp.csv：BNV-D中拥有或拥有PCP的产品的唯一列表和信息（首次和最后销售年份、包装）。bnvd_pcp_evol_composition.csv：与至少在BNV-D销售历史中记录一次的拥有或拥有PCP的产品相关的年度信息（物质组成）。sandre_substance_bnvd.csv：BNV-D和Sandre“参数”参考中物质的连接表。sandre_parametres.csv：拥有CAS编号的Sandre“参数”参考中物质的唯一列表和信息（Sandre代码、标签和CAS编号）。sandre_gpes_parametres.csv：拥有CAS编号且与Sandre“参数”参考中的代码Sandre“95”（植物保护剂）相关的参数组中物质的唯一列表和信息（Sandre代码、标签、化学家族和功能）。sandreparametres gpes_parametres.csv：sandre_parametres和sandre_gpes_parametres之间的连接表。eupdb_substance_bnvd.csv：BNV-D和EU PDB中物质的连接表。eupdb_substance.csv：EU PDB中物质的唯一列表和信息（在欧盟成员国的授权状态、批准开始和结束日期，以及其他与欧洲法规相关的指示：基础物质、替代候选物质或低风险物质）。agritox_substance_bnvd.csv：BNV-D和Agritox中物质的连接表。agritox_substance.csv：Agritox中物质的唯一列表和信息（名称、标识符和化学公式、摩尔质量、纯度）。agritox_substance_classement.csv：Agritox中物质的分类（分类、危险类别和说明）。agritox_substance_proprietes_pc.csv：Agritox中物质的物理化学性质。agritox_substance_toxicite.csv：Agritox中物质的毒性数据。agritox_substance_ecotoxicite.csv：Agritox中物质的生态毒性数据。agritox_substance_vtr.csv：Agritox中物质的参考毒理学值。atp_substance_bnvd.csv：BNV-D和ATP中物质的连接表。atp_substance.csv：ATP中物质的唯一列表和信息（名称）。atp_substance_classement.csv：ATP中物质的分类（分类、危险类别和说明）。ephy_substance_bnvd.csv：BNV-D和E-phy中物质的连接表。ephy_substance.csv：E-phy中物质的唯一列表和信息（标识符、变体列表、授权状态）。注意：变体名称列表存储在同一个唯一字段中，如果同一物质存在多个变体名称，则它们由“|”分隔。ephy_substance_variants.csv：变体的详细说明，即根据E-phy的“variant”字段中分离的变体模式的其他可能名称，每行一个变体。注意：此表中的信息是在从“variant”字段中分离的变体模式“|”之后获得的。ephy_amm_bnvd.csv：BNV-D和E-phy中拥有AMM的产品的连接表。ephy_pcp_bnvd.csv：BNV-D和E-phy中拥有PCP的产品的连接表。ephy_amm.csv：E-phy中拥有AMM的产品的唯一列表和信息（标识符、AMM持有人、产品类型、商业类型、授权状态）。ephy_pcp.csv：E-phy中拥有PCP的产品的唯一列表和信息（标识符、PCP持有人、产品类型、商业类型、授权状态）。ephy_pcp_origine.csv：PCP来源的相关信息。ephy_amm_second_nom.csv：E-phy中拥有AMM的产品的可能第二名称。ephy_amm_composition.csv：E-phy中拥有AMM的产品的物质组成的相关信息。ephy_amm_usage.csv：E-phy中拥有AMM的产品的使用方式的相关信息。ephy_ref_culture_rpg.csv：RPG中农作物和作物组的命名法（版本2.1）。ephy_usage_culture.csv：根据RPG命名法的农作物与ephy_amm_usage.csv中产品的使用方式之间的连接表。ephy_amm_mention_danger.csv：与E-phy中拥有AMM的产品相关的危险说明的相关信息。ephy_amm_phrase_risque.csv：与E-phy中拥有AMM的产品相关的风险语句的相关信息。c3po_source.csv：包含有关集成到C3PO数据库相应版本的每个数据来源的元数据的表。c3po_version.csv：包含有关C3PO数据库相应版本的元数据的表。数据以UTF-8编码，以分号分隔，点用作小数分隔符，文本类型数据以双引号括起来。原型版本：此版本存档在“文件”选项卡的“其他”部分。表格打包在.zip文件中。substance_20230802.zip包含从2023年8月2日提取的数据源中提取的“substance”方案的12个.csv文件。amm_20230802.zip包含从2023年8月2日提取的数据源中提取的“amm”方案的8个.csv文件。数据以UTF-8编码，以分号分隔，点用作小数分隔符，文本类型数据以双引号括起来。数据分发：法国生物多样性办公室（OFB）启动了C3PO数据库，并从本页上详细描述的开放数据源中对其生产进行了必要的处理。允许更新在此页上发布的.csv文件的Jupyter Notebook（Python）脚本可在以下页面上找到：https://gitlab.com/data-challenge-gd4h/c3po/-/tree/main（Cecill-B v1许可）。