SCLib: Reproducible LLM-Extracted arXiv cond-mat.supr-con Bibliometric Dataset (Freeze 2026-05-28)

SCLib is a corpus-level bibliometric dataset extracted from the full arXiv cond-mat.supr-con primary-submission record (1991–2026), with LLM-based named-entity recognition for superconducting materials, critical temperatures (Tc), pressure regimes, evidence types, and author geography. This deposit is a standalone data resource: it contains the frozen relational database, all derived analysis outputs, the multi-model NER audit corpus, the production NER prompts (SHA-256 pinned), and all reproducibility code. Publications that use this dataset will appear under "Related identifiers" as they are released. Headline numbers (freeze 2026-05-28) 43,183 active papers (1991–2026); 17 retracted (excluded) 19,028 distinct Tc records (strict filter) 5,880 distinct superconducting materials 7,768 distinct papers with at least one Tc record 99.99% per-paper author-country geographic NER coverage 3,200 LLM extraction calls in the multi-model audit (Claude Opus 4.7, GPT-5.5, GPT-5.4-mini, Gemini 2.5 Flash) with Krippendorff α / Cohen κ / Fleiss κ inter-rater reliability What's included data/ — Frozen PostgreSQL dump (data-only, column-inserts) plus 10 per-table / per-view CSV exports (papers, materials, v_tc_geo_strict, paper_geo, audit_reports, manual_overrides, …) audit/ — Multi-model NER audit SQLite DB, 100-paper cached inputs, full LLM stdout/stderr logs (compressed), and 49 analytical output CSVs (q*.csv + IRR + power-law + valley statistics) schema/ — 37 Alembic database migrations (0001 → 0037_paper_geo) scripts/ — ~40 reproducibility scripts (refresh_corpus_stats, compute_reliability, powerlaw_fit, valley_statistics, timeline_plot, ...) prompts/ — SHA-256 pinned production NER prompts (material_ner_v2_core, author_geo_ner_text, author_geo_ner_pdf, and a PROMPT_MANIFEST.json with provenance) What's intentionally NOT included arXiv full text (chunks table, 1.8 GB) — recoverable via arXiv OAI-PMH using the recipe in REPRODUCE.md User accounts (users, api_keys) and user activity (ask_history, bookmarks) — privacy Manuscripts / paper PDFs — this is a pure data deposit; publications using this dataset will be listed under "Related identifiers" Licensing Data (everything under data/, audit/, schema/) — CC-BY-4.0 Code (everything under scripts/, prompts/) — MIT Reproducibility See REPRODUCE.md for three reproduction levels: Load frozen DB and reproduce analyses (5–30 min) Re-run NER on the same 100-paper audit set (~1 hr, ~$5–20 LLM cost) Rebuild the entire corpus from arXiv (~3 days, ~$200–500 LLM cost) Strict filter convention All bibliometric analyses use the canonical strict filter: tc_kelvin ∈ (0, 300] AND papers.status != 'retracted'. This filter is the source-of-record for the 19,028 record count.SCLib是一款语料库级别的文献计量数据集，提取自1991年至2026年arXiv cond-mat.supr-con（凝聚态物理-超导）全量原始提交记录，基于大语言模型（LLM）实现了超导材料、临界温度（Tc）、压强区间、证据类型以及作者地域的命名实体识别。 本数据集为独立开源数据资源，包含冻结后的关系型数据库、所有衍生分析结果、多模型命名实体识别审核语料库、已固定SHA-256哈希值的生产级命名实体识别提示词（prompt），以及全部可复现性代码。使用本数据集的相关研究成果发布后，将收录于"Related identifiers"栏目中。 ### 核心统计数据（数据冻结于2026年5月28日） - 43183篇有效论文（1991-2026），另有17篇已撤稿论文已被排除 - 严格过滤后共19028条独立临界温度记录 - 5880种独立超导材料 - 7768篇至少包含一条临界温度记录的独立论文 - 单篇论文作者地域命名实体识别覆盖率达99.99% - 多模型审核中共进行3200次大语言模型实体抽取调用，涉及模型包括Claude Opus 4.7、GPT-5.5、GPT-5.4-mini及Gemini 2.5 Flash，同时包含Krippendorff α、Cohen κ及Fleiss κ三种评注者间信度指标 ### 数据集包含内容 - `data/`目录：仅含数据的PostgreSQL冻结备份（仅数据插入模式），以及10个单表/单视图CSV导出文件（涵盖papers、materials、v_tc_geo_strict、paper_geo、audit_reports、manual_overrides等） - `audit/`目录：多模型命名实体识别审核SQLite数据库、100篇论文的缓存输入数据、完整的大语言模型标准输出/错误输出压缩日志，以及49份分析结果CSV文件（包括q*.csv、评注者间信度、幂律分布及谷值统计相关文件） - `schema/`目录：37个Alembic数据库迁移脚本（版本从0001至0037_paper_geo） - `scripts/`目录：约40个可复现性脚本（包括refresh_corpus_stats、compute_reliability、powerlaw_fit、valley_statistics、timeline_plot等） - `prompts/`目录：已固定SHA-256哈希值的生产级命名实体识别提示词（包括material_ner_v2_core、author_geo_ner_text、author_geo_ner_pdf，以及包含溯源信息的PROMPT_MANIFEST.json文件） ### 未包含的内容 - arXiv全文数据（分块表，大小1.8GB）：可通过REPRODUCE.md中记载的方法，利用arXiv OAI-PMH接口恢复 - 用户账户（users、api_keys）及用户活动数据（ask_history、bookmarks）：出于隐私保护原因未包含 - 手稿/论文PDF：本数据集为纯数据资源，使用本数据集的研究成果将收录于"Related identifiers"栏目中 ### 授权协议 - 数据部分（`data/`、`audit/`、`schema/`目录下所有内容）：采用CC-BY-4.0协议 - 代码部分（`scripts/`、`prompts/`目录下所有内容）：采用MIT协议 ### 可复现性说明 可通过REPRODUCE.md文件了解三种复现级别： 1. 加载冻结数据库并复现分析流程（耗时5~30分钟） 2. 在同一100篇论文的审核数据集上重新运行命名实体识别流程（耗时约1小时，大语言模型调用成本约5~20美元） 3. 从arXiv原始数据重建完整语料库（耗时约3天，大语言模型调用成本约200~500美元） ### 严格过滤规则 所有文献计量分析均采用标准严格过滤规则：`tc_kelvin ∈ (0, 300] AND papers.status != 'retracted'`。该过滤规则即为19028条临界温度记录统计值的官方数据源。