five

CSL

收藏
arXiv2022-09-12 更新2024-06-21 收录
下载链接:
https://github.com/ydli-ai/CSL
下载链接
链接失效反馈
官方服务:
资源简介:
CSL是一个大规模的中文科学文献数据集,包含396,209篇论文的标题、摘要、关键词和学术领域信息。该数据集由国家工程研究中心创建,旨在支持中文自然语言处理研究。CSL涵盖了13个一级类别和67个二级学科,提供了比现有资源更广泛和精细的研究领域。数据集创建过程中,通过筛选核心期刊和遵循学术评价标准来确保数据质量。CSL的应用领域包括科学文献的自动分析,如摘要生成、关键词提取和文本分类,旨在解决中文科学NLP任务的挑战。

CSL is a large-scale Chinese scientific literature dataset containing titles, abstracts, keywords, and academic domain information of 396,209 academic papers. This dataset was developed by the National Engineering Research Center, with the aim of supporting Chinese natural language processing (NLP) research. CSL covers 13 primary categories and 67 secondary disciplines, providing broader and more fine-grained research domains than existing resources. During the dataset construction process, data quality is ensured by screening core journals and adhering to academic evaluation criteria. Application scenarios of CSL include automatic analysis of scientific literature, such as abstract generation, keyword extraction, and text classification, aiming to address the challenges in Chinese scientific NLP tasks.
提供机构:
中国地质大学(北京)信息工程学院
创建时间:
2022-09-12
搜集汇总
数据集介绍
main_image_url
构建方式
在中文科学文献处理领域,高质量数据资源的稀缺长期制约着相关研究进展。CSL数据集的构建依托国家工程研究中心提供的学术资源,系统采集了2010年至2020年间中国核心期刊的论文元数据。研究团队依据《中文核心期刊要目总览》进行严格筛选,确保收录的期刊具有广泛学术认可度。通过结合期刊定位说明与《学位授予和人才培养学科目录》国家标准,采用人工辅助标注方式,将论文精确划分至13个一级学科类别与67个二级学科领域,最终形成包含39.6万篇论文标题、摘要、关键词及学科标签的结构化数据集。
特点
该数据集展现出多维度学术价值:其覆盖范围横跨工程、科学、农业、医学等13个主要学科门类,在学科粒度上显著超越现有英文科学文献数据集。所有论文均来源于经过同行评议的核心期刊,避免了预印本平台可能存在的质量波动问题。数据采集直接源自结构化数据库,规避了传统PDF解析可能引入的噪声误差,保障了文本信息的完整性与准确性。这种半结构化特性使得数据天然具备多任务构建潜力,能够支持摘要生成、关键词抽取、学科分类等系列自然语言处理任务。
使用方法
研究者可将该数据集应用于三个主要方向:作为大规模中文科学语料库,支持领域自适应预训练模型的构建,如研究团队基于论文摘要训练的CSL-T5模型所示范。通过其提供的基准测试框架,能够系统评估模型在科学文献摘要生成、关键词自动标注及学科分类等任务上的性能表现。数据集设计具备高度灵活性,用户可根据研究需求自由组合元数据字段,构建定制化的文本转换任务,为跨任务学习、小样本学习等前沿方向提供丰富的实验场景。
背景与挑战
背景概述
在自然语言处理领域,科学文献作为高质量语料库,为诸多研究提供了关键支撑。然而,长期以来,相关数据集主要围绕英文构建,限制了中文科学文献处理技术的发展。为填补这一空白,中国地质大学(北京)、深圳大学、腾讯人工智能实验室等机构的研究人员于2022年联合发布了CSL数据集,即大规模中文科学文献数据集。该数据集收录了2010年至2020年间396,209篇中文核心期刊论文的元信息,涵盖标题、摘要、关键词及学科分类,涉及13个一级类别和67个二级学科。作为首个中文科学文献数据集,CSL不仅为中文自然语言处理研究提供了丰富的预训练语料,还通过其半结构化特性衍生出文本摘要、关键词生成和文本分类等多种监督任务,显著推动了中文科学文献自动分析技术的进步。
当前挑战
CSL数据集致力于解决中文科学文献处理中的核心挑战,包括跨学科文本的语义理解与生成任务。具体而言,在领域问题层面,模型需应对科学文献特有的专业术语密集、句式结构复杂以及跨学科语义差异等难题,例如在文本摘要任务中准确凝练学术摘要的核心论点,或在关键词生成任务中捕捉文本的关键主题。在构建过程中,研究团队面临数据质量与标注一致性的挑战:为确保学科分类的准确性,仅收录专注于单一领域的期刊,导致部分交叉学科论文未被纳入;同时,数据来源于已发表期刊,虽保障了文本的学术规范性,但规模扩展受到一定限制。这些挑战为后续研究提供了改进方向,如开发多标签标注体系以涵盖交叉学科论文,并探索更高效的数据扩充方法。
常用场景
经典使用场景
在自然语言处理领域,CSL数据集作为首个大规模中文科学文献语料库,其经典应用场景聚焦于构建学术文本分析与生成任务的基准评测体系。该数据集通过整合论文标题、摘要、关键词及学科分类等元信息,为研究者提供了丰富的半结构化数据资源,能够自然衍生出文本摘要、关键词生成和文本分类等核心任务。这些任务不仅模拟了学术文献处理的实际需求,还为模型在中文科学领域的性能评估提供了标准化平台,推动了中文科学NLP技术的系统化发展。
实际应用
在实际应用层面,CSL数据集支撑了智能学术辅助系统的开发,包括论文自动摘要生成、学术关键词推荐和学科分类系统。这些应用能够显著提升科研人员文献检索与管理的效率,例如帮助期刊编辑部快速初筛稿件主题,或为学术搜索引擎提供更精准的内容索引。此外,基于CSL训练的领域自适应模型可集成到学术写作平台,辅助研究者优化论文结构与术语使用,从而降低科学交流的语言壁垒,增强中文科学成果的传播与影响力。
衍生相关工作
围绕CSL数据集衍生的经典工作主要包括领域自适应预训练模型CSL-T5的构建,该模型通过科学文献摘要微调,显著提升了中文学术任务的性能。同时,研究团队基于CSL的多任务基准开展了跨任务泛化探索,为少样本学习与提示学习提供了实验场景。这些工作进一步催生了针对中文科学文献的机器翻译、跨模态学术检索等延伸研究方向,并与国际学术语料库如S2ORC、PubMed形成互补,共同推动了全球多语言科学NLP生态的完善。
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作