Data-Gouv-FR/barometre-de-la-science-ouverte-general

该数据集收集了法国开放科学监测的基础出版物数据。网站https://barometredelascienceouverte.esr.gouv.fr提供了开放科学监测结果的全局视图。该数据集列出了具有法国附属机构且拥有DOI或HAL标识符的科学出版物。对于每条记录，数据集提供其元数据、开放获取状态信息（通过Unpaywall服务）以及学科领域。方法细节在https://barometredelascienceouverte.esr.gouv.fr/a-propos/methodologie中说明。数据以CSV和JSONL格式提供，并可按年份获取。JSONL文件包含不同观察日期的开放获取信息，而CSV文件仅包含最新信息。字段包括：id（监测标识符）、doi（DOI）、pmid（PubMed标识符）、hal_id（HAL标识符）、year（出版年份）、title（标题）、journal_issns（ISSN）、journal_issn_l（链接ISSN）、journal_name（期刊名称）、publisher（出版商）、publisher_dissemination（标准化出版商）、lang（语言）、genre（出版物类型）、bso_country（附属国家）、amount_apc_EUR（APC估计金额）、apc_source（APC估计方法）、domains（领域）、detected_countries（检测到的附属国家）、bso_local_affiliations（本地监测标识符列表）、funding_anr（ANR项目标识符）、funding_europe（欧洲项目标识符）、bso_classification（主题分类）、bsso_classification（健康主题分类）、observation_date（开放获取状态观察日期）、is_oa（是否开放获取）、oa_host_type（开放获取类型）、journal_is_in_doaj（期刊是否在DOAJ中）、journal_is_oa（期刊是否完全开放获取）、unpaywall_oa_status（Unpaywall状态）、oa_colors（监测开放获取颜色）、licence_publisher（出版商许可）、licence_repositories（存储库许可）、repositories（存储开放获取出版物的存储库列表）、software_mentions（全文提及的软件）、data_mentions（全文提及的数据）、software_used（使用软件）、software_created（创建软件）、software_shared（共享软件）、data_used（使用数据）、data_created（生产数据）、data_shared（共享数据）、has_doi_in_hal（HAL中是否暴露DOI）、missing_doi_in_hal（DOI是否在HAL中缺失）。This dataset compiles the underlying publication data for the French Open Science Monitor. The website https://barometredelascienceouverte.esr.gouv.fr provides a global overview of the results of the open science monitor. This dataset lists scientific publications with French affiliation and having either a DOI or a HAL identifier. For each, the dataset provides its metadata, information on Open Access status (via the Unpaywall service), and its disciplinary field. Method details are explained at https://barometredelascienceouverte.esr.gouv.fr/a-propos/methodologie. Data is available in CSV and JSONL formats, and can be obtained by year. The JSONL file contains open access information for different observation dates, while the CSV file contains only the most recent information. Fields include: id (monitor identifier), doi (DOI), pmid (PubMed identifier), hal_id (HAL identifier), year (publication year), title (title), journal_issns (ISSN), journal_issn_l (linking ISSN), journal_name (journal name), publisher (publisher), publisher_dissemination (normalized publisher), lang (language), genre (publication type), bso_country (affiliation country), amount_apc_EUR (estimated APC amount), apc_source (APC estimation method), domains (domains), detected_countries (detected affiliation countries), bso_local_affiliations (list of local monitor identifiers), funding_anr (ANR project identifiers), funding_europe (European project identifiers), bso_classification (thematic classification), bsso_classification (health thematic classification), observation_date (open access status observation date), is_oa (open access?), oa_host_type (open access type), journal_is_in_doaj (journal in DOAJ?), journal_is_oa (journal fully OA?), unpaywall_oa_status (Unpaywall status), oa_colors (monitor OA colors), licence_publisher (publisher license), licence_repositories (repository license), repositories (list of repositories hosting the publication in OA), software_mentions (software mentioned in full text), data_mentions (data mentioned in full text), software_used (software used), software_created (software created), software_shared (software shared), data_used (data used), data_created (data produced), data_shared (data shared), has_doi_in_hal (boolean indicating if HAL exposes a DOI for this publication), missing_doi_in_hal (boolean indicating if the publications DOI is missing in HAL).

搜集汇总

数据集介绍

构建方式

该数据集源自法国开放数据平台data.gouv.fr，收录了法国开放科学晴雨表项目所依赖的出版物元数据。构建过程中，系统全面检索了至少具有DOI或HAL标识符的法国附属科研论文，并通过Unpaywall服务获取每篇论文的开放获取状态。数据集以单一配置'open-access-monitor-france'的形式呈现，原始表格资源被映射为Hugging Face上的一个子集，内含统一的'train'拆分，数据以高效的Parquet格式存储，便于大规模加载与分析。

特点

该数据集以法语为主要语言，围绕法国的开放科学评估需求设计，包含数十个精细字段。核心特色在于其多维度的开放获取信息，不仅提供Unpaywall的OA状态（如closed、gold、hybrid等），还融入了法国晴雨表自定义的OA颜色分类（如diamond、gold APC）。此外，数据集涵盖了出版物所属学科领域、作者所属机构、APC费用估算、以及软件与数据的提及情况，为分析法国科研产出的开放获取趋势提供了深厚的数据基础。

使用方法

使用者可通过Hugging Face的datasets库便捷加载该数据集，仅需调用load_dataset函数并指定配置名称'open-access-monitor-france'即可获得训练拆分。数据也可以直接从原始存储链接获取，支持CSV与JSONL格式，且提供按年份分割的版本，便于进行时间序列分析。在应用时，建议重点利用bso_classification字段进行学科维度的挖掘，结合is_oa与oa_colors字段追踪开放获取的动态演变。该数据集特别适用于政策评估研究、科学计量学分析以及开放科学推进成效的量化监测。

背景与挑战

背景概述

开放科学（Open Science）作为推动学术成果透明化与可复用性核心理念，近年来在全球范围内受到广泛关注，法国高等教育与研究部在此背景下于2019年启动了开放科学晴雨表（Baromètre de la science ouverte）项目。该数据集由法国数据治理机构Data-Gouv-ML团队维护，核心研究问题在于系统性地监测法国科研产出的开放获取（Open Access）状态，并评估开放科学政策的实施效果。数据集收录了具有法国机构隶属关系的学术出版物，涵盖DOI或HAL标识符的元数据、Unpaywall提供的开放获取状态、学科分类等信息，为政策制定者、研究机构及学者提供了量化开放科学进展的基准资源。该数据集对法国乃至欧洲的开放科学运动具有重要影响力，其方法论和结果被广泛引用于学术评价与科研管理决策。

当前挑战

该数据集所解决的领域核心挑战在于精确量化和追踪学术出版物的开放获取状态，这面临着开放获取定义多样性与动态性带来的难题——同一出版物在不同观测日期的开放状态可能发生变化，且APC费用估算来源与方法各异。构建过程中的挑战体现在多源异构数据融合：需整合来自Unpaywall、HAL、PubMed等多个数据库的标识符与元数据，处理ISSN、DOI等字段的不一致性问题，同时要应对大规模数据清洗与归一化工作，例如出版社名称的标准化和学科分类的映射。此外，数据集持续更新需要维护自动化管道以保障时效性，而版权许可信息的提取与验证也增加了构建的复杂性。

常用场景

经典使用场景

在开放科学运动蓬勃发展的时代背景下，Baromètre de la science ouverte (général) 数据集为评估法国科研产出的开放获取状态提供了基石性资源。其最经典的使用场景在于系统性地分析具有法国隶属关系的学术出版物，涵盖拥有DOI或HAL标识符的文献，并借助Unpaywall服务精准标注每篇论文的开放获取状态、颜色分类（如金色、绿色、混合型等）以及学科领域。研究者通过该数据集可追溯不同观察时间点的开放获取演变趋势，进而构建宏观的开放科学动态监测框架。该数据集以Parquet、CSV及JSONL格式发布，极大便利了大规模批量处理与时空维度的计量分析，为理解法国乃至全球开放科学政策的实施成效提供了量化依据。

解决学术问题

该数据集从根本上解决了法国学术出版领域长期缺乏统一、标准化开放获取监测数据的困境。学术研究常面临如何客观衡量开放科学政策落实度、学科间开放获取差异以及APC（文章处理费）经济影响等核心问题。Baromètre de la science ouverte (général) 通过整合出版物元数据、开放获取状态、APC估算金额及资金来源（如ANR项目、欧洲项目）等多维度信息，使得学者能够定量探究开放获取与学科特性、资助模式之间的关联。例如，研究中可揭示金色开放获取在不同学科中的分布差异，或分析APC费用随时间的变化规律。这一数据基础设施的建立，推动了开放科学治理从定性讨论迈向可重复、可验证的实证研究范式，对优化科研政策具有深远意义。

衍生相关工作

围绕Baromètre de la science ouverte (général) 数据集，衍生了一系列具有影响力的研究与工具工作。数据管理计划（PGD）文档《Plan de gestion de données du projet 'Baromètre Science Ouverte Données et codes'》本身即作为一份衍生成果，详细记录了数据生命周期中的治理规范，为其他开放科学监测项目提供了方法论范本。此外，基于该数据集开发的交互式可视化网站（barometredelascienceouverte.esr.gouv.fr）使得公众与研究者可直观探索开放获取趋势，成为政策沟通的有效桥梁。在学术层面，研究者利用其完整的开放获取颜色分类与时间戳信息，开展了关于法国开放获取增长轨迹、学科差异以及APC费用演变规律的计量论文，推动了开放科学领域的实证研究。同时，数据集提供的软件提及与数据提及字段，催生了关于可重复性实践与科研软件共享行为的新兴分析工作，进一步拓展了开放科学数据的使用边界。