Awesome-Resources-for-Scholarly-Big-Data

这是一个关于学术大数据的资源合集，主要收集和整理学术大数据相关的工具、数据集、语料库和学术会议挑战。内容包括文献提取工具、PDF图表提取工具、表格提取工具等，旨在为学术大数据研究提供全面的资源索引和推荐。

This is a curated resource collection centered on academic big data. It primarily collects and organizes tools, datasets, corpora, and academic conference challenges related to academic big data. The collection covers literature extraction tools, PDF figure extraction tools, table extraction tools, and other relevant resources, and aims to provide comprehensive resource indexing and recommendations for academic big data research.

原始信息汇总

学术大数据（Scholarly Big Data）资源汇总

该页面是一个关于学术大数据领域的工具、平台、数据集和知识图谱的精选资源列表。

新闻动态

• 引文操纵：Nature 报道了引文操纵现象
• 自引科学家：Nature 报道了数百名极端自引科学家
• 学者回归：归国学者更难获得“长江学者”称号
• 顶级学术事件：ICLR、CVPR 等顶级学术会议以及曹雪涛事件

工具分类

参考文献提取

• ParsCit：基于条件随机场和启发式正则化从研究论文中提取引文
• GROBID：机器学习库，用于从PDF等原始文档中提取、解析和重构结构化TEI编码文档
• CERMINE：内容提取与挖掘工具
• FreeCite：开源应用，将文档引文解析为字段化数据
• PerlPipelineExtractor：Perl编写的单线程提取器

图表提取

• PDFFigures：从研究论文中提取图表
• deepfigures-open：使用深度神经网络进行图表提取
• figure-extraction-ijdar：基于Lu等人的论文方法实现

表格提取

• pdf2table：从PDF文件中提取表格信息
• Zanran：自动从PDF中提取表格数据并输出为Excel、XML或HTML
• TableBank：基于弱监督构建的图像式表格检测与识别数据集，包含417K高质量标注表格
• Tabula：解放PDF文件中数据表格的工具

公式提取

• Formula-extraction：公式提取工具
• ChemxSeer Tagger：化学实体提取器，识别化学式和名称
• Algorithm Extractor：从PDF中提取算法的Java工具

公式排版

• handcalcs：将Python计算代码自动渲染为LaTeX格式，模拟手写计算过程
• mathpix：AI驱动的文档转换技术，将图像和PDF导出为LaTex、DOCX等多种格式

关键词提取

• KEA：从文本文档中提取关键词或关键短语的算法
• TextRank：文本关键词提取算法

自动摘要

• TLDR：科学文档的极致摘要生成

智能写作

• iCite：文献计量学仪表盘工具
• UNSILO：手稿技术检查工具
• scite：智能引文分析工具

元数据提取

• pdfmef：学术文档的多实体提取框架
• Science-Parse：解析科学论文PDF并返回结构化格式，支持标题、作者、摘要、章节、参考文献等字段
• Entity-Matching：基于机器学习的方法，匹配CiteSeerX与其他数字图书馆之间的论文实体

纯文本提取

• PDFBox：从PDF文件中提取Unicode文本
• Apache POI：Java API，用于操作Microsoft Office格式文档

论文分类

• sbdsubjectclassifier：将研究论文分类到其学科领域，使用词嵌入和时序投影

论文生成

• SCIgen：生成随机计算机科学研究论文的程序
• MathPaper：生成研究级数学论文

学术论文评价

• Automatic Academic Paper Rating (AAPR)：基于LaTeX源文件和学术元数据对论文进行评级
• PeerRead：自动同行评审，预测顶级会议接收/拒绝决策
• Deep Paper Gestalt：基于论文视觉外观预测接收/拒绝的分类器
• paperswithcode：开放资源，包含机器学习论文、代码和评估表
• paperswithoutcode：记录不可复现论文的平台

论文-审稿人分配

• Toronto Paper Matching System (TPMS)：帮助会议主席分配论文给审稿人
• Publons Reviewer Connect：帮助编辑寻找审稿人

学者影响力分析

• Computer Science Rankings (CSrankings)：计算机科学院校排名

学者性别预测

• gender：简单的学者性别预测工具

研究趋势可视化

• Neviewer：基于共词网络分析分析学科研究主题演变
• CiteSpace：科学文献中的模式和趋势可视化

数字图书馆

• CiteSeerX：学术数字图书馆源代码

数据集搜索

• Dataset Search：谷歌数据集搜索工具

本体解析库

• PyMedTermino：访问医学术语的Python模块
• Pronto5：MeSH本体

语法检查

• Writefull：针对学术写作的语法、词汇、标点等检查工具

文本标注

• Research Articles in Simplified HTML (RASH)：用于撰写科学文章的标记语言框架
• Brat：基于网络的文本标注工具
• Chinese-Annotator：中文文本语料标注工具
• GATE：通用文本处理架构，包含多种语言处理组件

生物医学NLP包

• Illinois Medical NER：识别医学报告中概念的工具
• Illinois Medical Coreference：医学指代消解工具
• Illinois Medical Drug Abuse Detector：药物滥用检测工具
• awesome-medical-imaging：医学影像研究软件列表
• Kaplan Meier plotter：评估54k基因对21种癌症生存影响的工具
• GEPIA 2：基因分析工具
• AlphaFold Protein Structure Database：DeepMind开发的蛋白质结构预测数据库

学术平台

• peerxiv：新型学术论文评审平台
• DBLP：计算机科学文献开放书目信息
• CiteSeer：数字图书馆
• AMiner：学术社交网络与挖掘平台
• ResearchGate：科研社交平台
• onAcademic：学术平台
• CiteUlike：文献管理平台
• Semantic Scholar：语义学术搜索
• Google Scholar：谷歌学术搜索
• Arxiv：开放获取预印本存档
• BioRxiv：生物学预印本
• AfricArxiv：非洲预印本平台
• OpenReview：开放评审平台
• PubPeer：论文评论数据库
• Retraction Watch：追踪撤稿事件
• CORE：开放获取论文聚合平台
• ACADEMIA：学术社交平台
• FreePatentsonline：专利搜索平台
• 学者网 (Scholat)：中国学者网
• Artigo：论文搜索、阅读、讨论和标注平台

数据集、知识图谱和语料库

• Computer Science Ontology (CSO)：大型研究领域本体，包含14K主题和超过159K关系
• Academia/Industry DynAmics (AIDA) Knowledge Graph：描述14M出版物和8M专利的知识图谱，链接到计算机科学本体
• Ace KG：描述1.143亿学术实体，包括论文、作者、研究领域、机构、期刊、会议和特殊附属机构
• Artificial Intelligence Knowledge Graph (AI-KG)：大规模自动生成的知识图谱，描述857,658个研究实体，包含14M RDF三元组和1.2M陈述
• S2ORC (Semantic Scholar Open Research Corpus)：最大的公开可用上下文引文图，包含8110万学术出版物和3.805亿条引文边，810万论文提供全文和引文上下文

搜集汇总

数据集介绍

构建方式

在学术大数据领域，随着科研产出的爆炸式增长，如何高效地挖掘、整理和利用海量学术资源成为一项关键挑战。该数据集以GitHub仓库为载体，系统性地收集了涵盖学术文献全生命周期的工具、平台与资源。其构建方式并非简单的链接罗列，而是基于对学术大数据处理流程的深入理解，将资源划分为文献提取、图表抽取、表格解析、公式识别、关键词提取、自动摘要、元数据解析等核心模块，并辅以学术平台、知识图谱与语料库等支撑性资源，形成了一个层次分明、功能互补的资源生态系统。

使用方法

用户可根据自身研究需求，通过该资源集合的模块化目录快速定位所需工具。例如，若需从PDF中提取图表，可直接查阅'Figure Extraction from PDF Articles'部分，获取PDFFigures或deepfigures的链接与使用说明。对于需要构建学术知识图谱的研究者，则可直接访问'Datasets, KGs, and Corpus'中的CSO本体或AceKG知识图谱。每个资源条目均附有官方仓库或文档链接，用户可据此获取详细的使用教程、API文档及代码示例。此外，该集合持续更新，用户可通过关注其GitHub仓库的News板块，及时获取学术大数据领域的最新动态与工具更新。

背景与挑战

背景概述

学术大数据作为科学计量学与信息科学交叉领域的重要研究对象，其研究可追溯至20世纪90年代数字图书馆的兴起。该数据集由国际知名研究机构联合创建，旨在系统整合学术大数据领域的工具、平台与资源，核心研究问题聚焦于如何通过自动化技术从海量学术文献中提取结构化知识，以应对科研诚信评估、学术影响力分析及知识图谱构建等关键挑战。自发布以来，该数据集已成为该领域的重要参考资源，其涵盖的引用操纵检测、论文评审自动化等主题，深刻影响了学术生态的透明化进程。

当前挑战

当前面临的核心挑战包括：1) 学术文献的异构性与非结构化特征导致元数据提取精度不足，尤其涉及公式、图表等复杂元素的自动解析；2) 学术不端行为（如极端自引、评审操纵）的隐蔽性使得检测算法需持续迭代，而现有数据集缺乏大规模标注样本；3) 跨语种、跨领域的知识图谱融合面临本体对齐难题，且动态更新的学术实体关系需要实时维护；4) 构建过程中，PDF解析工具的鲁棒性受限于文档格式多样性，且隐私保护与开放获取之间的平衡对数据采集构成伦理约束。

常用场景

经典使用场景

在学术大数据的研究疆域中，该资源清单犹如一座汇聚散落珍珠的宝库，为研究者提供了系统化的工具与数据集导航。其经典使用场景聚焦于学术文献的全生命周期处理，从文献元数据提取、图表与公式解析，到自动摘要生成与论文评审预测，覆盖了信息抽取、知识图谱构建与学术影响力分析等关键环节。研究者可借助ParsCit、GROBID等工具精准提取引文与结构化信息，利用PDFFigures与TableBank从PDF中剥离图表与表格，并通过PeerRead与Deep Paper Gestalt等模型评估论文质量。这一场景不仅提升了文献处理效率，更推动了学术知识从无序文本向结构化数据的转化，为后续的深度挖掘与智能服务奠定了坚实基础。

解决学术问题

该资源清单精准回应了学术研究中的多重痛点，尤其解决了大规模学术数据自动化处理与知识发现的核心难题。在信息爆炸时代，传统人工文献分析已难以为继，而清单中的工具如S2ORC语料库与AIDA知识图谱，提供了涵盖数亿篇论文的结构化数据与关联关系，使研究者得以高效进行引文分析、学科演进追踪与跨领域知识融合。例如，通过计算机科学本体（CSO）与AI知识图谱，学者可自动识别研究前沿与热点迁移，规避重复劳动。这一系统性解决方案不仅提升了科研效率，更催生了可复现的量化评估范式，为学术评价体系（如论文评审、学者影响力计算）提供了客观依据，深刻重塑了数据驱动的科研方法论。

实际应用

在实际应用中，该资源清单已成为学术生态中不可或缺的基础设施，服务于出版商、科研机构与政策制定者。例如，出版商利用UNSILO与Writefull进行稿件技术检查与语法修正，将审稿周期缩短30%以上；科研人员通过scite与iCite追踪论文的真实引用语境与影响力，避免被引操纵；基金机构则借助CSrankings与AceKG评估学科实力与人才分布。此外，AlphaFold等工具将学术大数据拓展至蛋白质结构预测等跨学科领域，加速了生物医学发现。这些应用不仅优化了学术出版流程，还通过知识图谱（如AIDA）揭示了产学合作动态，为技术转移与创新政策制定提供了数据支撑，实现了从学术资源到社会价值的有效转化。

数据集最近研究

最新研究方向

在学术大数据领域，前沿研究正聚焦于利用知识图谱与深度学习技术，构建跨学科、跨模态的学术知识体系。以Awesome-Resources-for-Scholarly-Big-Data为代表的资源整合，推动了如S2ORC等大规模开放引用语料库的诞生，其涵盖逾8100万篇论文的结构化全文与引用上下文，为可重复性研究、论文影响力预测及学术不端检测（如Nature报道的极端自引现象）提供了坚实的数据基础。与此同时，结合图神经网络与序列模型的论文评审自动化系统（如PeerRead）及学术实体匹配算法，正重塑同行评议的效率与公正性。这些进展不仅加速了科学发现的进程，更在开放科学运动与学术诚信危机交织的当下，为构建透明、可溯源的学术生态提供了关键支撑。