PleIAs/French-Science-Commons

French Science Commons（法语科学数字公共资源）汇集了法国来源的开放获取科学出版物，时间跨度为2007年至2026年。它包含1,248,860份科学文档——1,189,628篇文章和59,232篇论文——通过多个公共访问学术存储库（如HAL、OpenAlex、科学期刊、机构存储库等）索引。该语料库设计注重多功能性，使其适用于研究社区内外的多种下游应用，包括开发领域特定语言模型和通过可视化探索主题模式。该项目是更广泛倡议的一部分，旨在支持法语科学在英语主导的科学过度生产背景下的可发现性，目标是基于语言和文化主权、可追溯性、透明度和科学完整性原则，在法语国家建立共享的数字公共资源。

French Science Commons (Commun numérique des sciences en français) brings together French-origin scientific publications in open access, covering a twenty year span from 2007 to 2026. It comprises 1,248,860 scientific documents — 1,189,628 articles and 59,232 thesis — indexed across multiple public access academic repositories, like HAL, OpenAlex, scientific journals, institutional repositories, and others. The corpus is designed with versatility in mind, making it suitable for a variety of downstream applications within the research community and beyond, including developing domain-specific language models and exploring thematic patterns through visualizations. The project is part of a broader initiative to support the discoverability of French-language science in a context of scientific overproduction dominated by English. It aims to establish shared digital commons within the Francophonie, grounded in principles of linguistic and cultural sovereignty, traceability, transparency, and scientific integrity.

搜集汇总

数据集介绍

构建方式

French-Science-Commons数据集汇聚了2007年至2026年间法国来源的开放获取科学出版物，共计1,248,860篇科学文献，包括1,189,628篇文章和59,232篇论文。这些文献来自多个公共学术存储库，如HAL、OpenAlex、科学期刊及机构库等。数据构建的核心挑战在于将复杂的学术PDF转换为结构化文本，为此采用了一种基于视觉的OCR管道：首先将每一页PDF渲染为图像，随后利用开源视觉语言模型dots.ocr直接生成Markdown格式的输出，从而有效保留文档中的标题、子标题、列表、表格、数学公式等结构元素。该管道在Jean Zay超级计算机上执行，确保了数据处理的高效与精准。最终数据以Parquet格式存储，每条记录对应一页内容，并附带丰富的元数据，如文档标识符、作者、标题、DOI、学科分类及许可证信息，便于用户按需重构完整文档。

特点

该数据集具有鲜明的多学科与多语言特色，其学科覆盖范围广泛，从自然科学、工程与技术、医学与健康科学、农业与兽医科学，到社会科学及人文与艺术，六大超类均基于OECD的Frascati研究领域分类体系。尽管数据集以法语为主（约占80%），但也囊括了在法国或其他法语国家以其他语言（通常为英语）发表的科研作品，体现了对法语科学在全球英语主导背景下的可发现性的支持。数据集的开放性是其另一大亮点，所有文档均遵循开放许可（如CC-By、CC-By-SA、CC0及法国自由许可），并附有详细的出处元数据以确保完整归属。此外，该数据集分为“法国开放科学”和“HAL开放获取”两个主要集合，前者聚焦于明确允许再利用的出版物，后者则源自HAL开放档案馆，包含部分受版权保护的文献，使用时需注意相应条款。

使用方法

用户可以通过HuggingFace平台直接加载该数据集，利用其Parquet格式的高效存储特性进行大规模数据处理。数据以页面级别组织，每个文档由唯一标识符`id`关联，用户可通过按`id`分组并按`page`排序来重构完整文档。数据集适用于多种下游任务，包括但不限于训练检索增强生成（RAG）系统和领域专用语言模型、基于交互式语义可视化的主题探索、科学内容的分类与索引、科学写作辅助及翻译普及，以及法语科学领域的教育与培训。丰富的元数据字段（如语言、许可证、学科、来源等）为精细化筛选和过滤提供了便利，用户可根据研究需求选择特定语言、学科或许可条件下的子集。需要注意的是，对于“HAL开放获取”集合中的受版权保护文档，用户应仅将其用于深度学习模型训练、数据挖掘等合法用途，并遵循每篇文档的附加使用条款。

背景与挑战

背景概述

French Science Commons数据集由法国文化部、OPERAS研究基础设施等机构合作构建，于2024年发布，旨在应对科学出版领域英语主导趋势下法语科学资源系统性匮乏的问题。该数据集汇集了2007至2026年间来自HAL、OpenAlex等开放获取仓储的1,248,860篇法语科学文献，涵盖自然科学、工程、医学、社会科学等六大领域，为多学科下游应用提供了高质量、结构化且开放许可的训练数据。其核心目标在于支持法语领域专用语言模型开发、语义化主题探索及科学写作辅助，同时推动法语国家数字共同体的建立，强化语言及文化主权与科学完整性。该数据集以其丰富的元数据（如学科分类、许可证信息）和跨学科设计，显著提升了法语科学在全球学术生态中的可见度与可发现性。

当前挑战

该数据集面临的首要挑战是解决法语科学在大型语言模型训练语料中系统性边缘化的领域问题，以缓解英语主导下的科学信息不平等现象。构建过程中，学术PDF的复杂排版（如多栏文本、数学公式、表格与图像）使得传统OCR方法难以保持语义与结构完整性。项目采用基于视觉语言模型dots.ocr的OCR管道，通过逐页渲染图像并直接输出Markdown格式文本来保留层次关系，但这一过程对计算资源要求极高，需依赖高性能集群（如Jean Zay）完成。此外，数据从多个异质源整合时需处理许可条款差异、版权限制及元数据对齐问题，确保合规性与可追溯性，这对数据清洗、归并及分布式来源的协调管理构成了显著技术障碍。

常用场景

经典使用场景

French-Science-Commons数据集的核心用途在于为法语科学文献的自然语言处理研究提供高质量的语料基础。研究者可利用其丰富的元数据和结构化文本，训练领域特定的语言模型，或构建检索增强生成系统。该数据集以页面级粒度组织，支持文档完整重构，适用于文本分类、主题建模、科学文献的语义索引与可视化探索等下游任务。其跨学科特性涵盖自然科学至人文艺术六大领域，为跨学科研究提供了统一的数据支撑。

解决学术问题

该数据集着力解决法语科学文本在大型语言模型训练语料中系统性缺失的困境。由于当前主流语料库以英语为中心，法语科学成果的数字化表征与计算分析长期受限。French-Science-Commons通过整合逾120万篇开放获取文献，构建了首个大规模、多学科、结构化的法语科学语料库，填补了语言资产上的空白。这不仅促进了多语言自然语言处理的公平性，也为法语学术生态的量化分析、知识图谱构建和科学计量学研究提供了关键资源。

衍生相关工作

围绕此数据集，已衍生出多项基础性工作。其构建过程中采用的基于视觉语言模型的PDF结构化处理流水线（dots.ocr），为同类语料库的建设提供了技术范式。其次，基于OECD Frascati分类法设计的六大学科超类别体系，可作为其他语言科学语料库分类标准参考。未来可预期的工作包括：以该语料为基础训练的法语科学大语言模型、跨语言科学文献对齐语料库、以及面向法语学术社区的检索增强生成系统等。