SciTaste-benchmark

# SciTaste：跨学科科研创新性评测基准 一套面向大语言模型（LLM）的**跨学科科研创新性评测基准**，覆盖物理、数学、化学、生物学、医学、金融学 6 个学科，基于统一的 V6 七维度创新性指标，支持 4 种评测模式。 ## 项目目标 1. 系统性量化大语言模型在科研创新性评估任务上的能力 2. 提供一套覆盖多学科、具有明确 GT（Ground Truth）的黄金评测集 3. 提供多种评测模式（纯 QA / 原生搜索 / Agent + 工具 / Agent + 原生搜索），用于对比不同工具接入方式下的模型能力差异 4. 用机器学习方法（随机森林/梯度提升）反推 V6 七维度权重，与人工设计权重形成互证 ## 核心成果 - **6×1000 候选题目池**（物理 + 数学 + 化学 + 生物学 + 医学 + 金融学） - **6×50 黄金评测集**（精选 300 篇，V6 七维度 GT 完整） - **4 种评测模式 × 7+ 主流模型**：qwen-3.8-max、qwen3.7-plus、qwen3.7-max、claude-fable-5、claude-opus-4-8、gpt-5.6-sol、gemini-3.5-flash - **V6 七维度创新性指数**（citation_impact 29.5%、journal_impact 15.3%、conceptual_innovation 12.9%、knowledge_breadth 11.8%、semantic_novelty 11.6%、team_collaboration 10.1%、disruptiveness 8.9%） - **随机森林权重分析**：citation_impact 的 R² = 0.7359，证明其余六维可较好预测引用影响力 ## 目录结构 ``` 科研创新性/ ├── 独立论文部分/ # 物理八子领域 GT + 多学科 6×1000 候选池构建 ├── 最终评测/ # 黄金 300 题 + 多模型评测结果 + OSS 上传包 ├── 20260706-FrontierScience最新数据/ # FrontierScience 原始多模态评测 ├── 基线部分/ # 基线模型（引用分布、语义新颖性、聚类） ├── 机器学习参数分析/ # V6 权重的机器学习推导（随机森林/梯度提升） ├── 团队维度映射分析/ # team_collaboration 维度映射方案 ├── 数据文档说明-评测一体化模型训练.md └── 评测一体化模型训练-QoderWork规划请求.md ``` ### 主要子目录说明 #### `独立论文部分/` 存放所有"题目生成"相关的上游工作，包括： - 物理八子领域（交叉/天体/应用/经典/计算/量子/凝聚态/高能）的原始数据爬取、创新性计算、CSV 输出 - 数学/化学/生物学/医学/金融学 5 个新学科的 `*_innovation/` 目录，每个学科包含： - `crawler.py`：Semantic Scholar / OpenAlex 爬取 - `filter_and_supplement.py`：学科分布、年份、期刊分区补充至 1000 篇 - `compute_innovation.py` + `metrics.py`：V6 七维度创新性计算 - `run_*_innovation.py`：一键生成 1000 题候选池 - `黄金评测集/新学科1000黄金题目集/`：6 个学科各 1000 题的 JSON - `agent_rag_eval/`：Agent vs RAG 对比评测与 V6 权重实验 #### `最终评测/` **核心产出目录**，论文实验使用的最终数据都在这里。 - `黄金评测集/` - `golden_evaluation_dataset_v5_final50_six_discipline_v2.json`：6×50 黄金评测集（selected）+ 5700 后备（backup） - `agent_framework/`：评测框架（LLM 客户端、Agent 引擎、9 个 ADS 工具、4 种模式配置、指标计算） - `eval50_*_sixdisc_v2/`：每个模型四模式的原始 `*_results.json` - `evaluation_results_report.md`：所有模型的最终结果报告 - `run_*.sh`：各模型四模式评测启动脚本 - `generate_results_report.py`：报告生成脚本 - `create_golden_evaluation_dataset.py`：黄金 300 题生成入口 - `compute_v6_spec.py`：V6 七维度统一重算脚本 #### `20260706-FrontierScience最新数据/` 存放 2026 年 7 月 FrontierScience 原始多模态评测数据（Excel + JSON + 评测脚本），包括： - `FS-多模态-*.xlsx` / `FS-纯文本-*.xlsx`：各学科原始题目 - `evaluate_frontier.py` / `evaluate_notools.py`：Phase 2 双维度打分脚本 - `evaluation_report_process_result.md`：过程分/结果分报告 - `score_calculation_methodology.md`：评分方法论文档 #### `基线部分/` 基线对比实验： - `calculate_novelty_*.py`：语义新颖性基线计算 - `fit_citation_*.py`：引用分布拟合（log-normal/power-law） - `download_specter2.py`：SPECTER2 模型下载 #### `机器学习参数分析/` 用随机森林 / 梯度提升反推 V6 七维度权重： - `ml_parameter_analysis.py`：主分析脚本 - `V6维度权重机器学习推导方法.md` - `结果总结.md` / `维度说明.md` #### `团队维度映射分析/` `team_collaboration` 维度的作者数/国家数映射方案： - `team_collaboration_mapping.py`：主脚本 - `mapping_lookup_table.csv`：映射表 ## V6 七维度创新性指标 每篇论文的 Ground Truth 包含 7 个维度（0–100 分制），总分 = 加权和。 | 维度 | 英文键名 | 权重 | 计算类型 | |:--|:--|:--:|:--| | A. 引用动态 | `citation_impact` | 29.5% | 引用数 + 百分位 | | B. 参考文献多样性 | `knowledge_breadth` | 15.3% | PCA (ref_count, field/journal diversity, age variance) | | C. 语义创新 | `semantic_novelty` | 12.9% | PCA (SS nearest neighbor / semantic distance) | | D. 颠覆性 | `disruptiveness` | 11.8% | PCA (CD-index, cd_n_i) | | E. 概念主题 | `conceptual_innovation` | 11.6% | PCA (core concept/topic scores, topic span) | | F. 团队合作 | `team_collaboration` | 10.1% | PCA (country count, author count) | | G. 期刊影响力 | `journal_impact` | 8.9% | IF rank + JCR + CAS | 公式： ``` ground_truth_score_100 = Σ(dim_i × weight_i) for i in 1..7 ``` 完整子参数与计算代码见： - `最终评测/OSS_上传包_多学科创新性评测/reproducibility_details/compute_v6_spec.py` - `最终评测/OSS_上传包_多学科创新性评测/reproducibility_details/可复现细节说明.md` ## 评测模式 | 模式 | 工具 | 说明 | |:--|:--|:--| | `pure_qa` | 无 | 纯问答，无任何工具/搜索 | | `native_search` | web_search | 模型原生搜索（如 OpenAI web_search） | | `dimagent_v3` | 9 个 ADS 工具 | Agent 框架 + 结构化数据查询工具 | | `dimagent_v3_native` | 9 ADS + web_search | Agent 框架 + 结构化工具 + 原生搜索 | 9 个 ADS 工具（均只接受 `bibcode` 参数）： 1. `get_citation_data` 2. `get_journal_info` 3. `get_reference_list` 4. `get_concept_data` 5. `get_author_data` 6. `get_citation_network` 7. `get_topic_data` 8. `get_disruptiveness_data` 9. `get_keyword_rarity` 评测框架入口： ```bash cd 最终评测/黄金评测集 python agent_framework/runs/run.py dimagent_v3 \ --model qwen3.7-max --resume --workers 1 ``` ## 数据格式 ### 黄金评测集（JSON） ```json { "dataset_name": "六学科 300 题黄金评测集 v2", "total_selected": 300, "total_backup": 5700, "selected": [ { "id": "https://openalex.org/Wxxxx", "openalex_id": "https://openalex.org/Wxxxx", "bibcode": "2020JCoPh.42309802F", "title": "...", "abstract": "...", "year": 2020, "doi": "10.1016/j.jcp.2020.109802", "journal": "JCoPh", "subcategory_id": "计算物理", "discipline": "物理", "ground_truth_score_100": 50.5, "ground_truth_dimensions": { "citation_impact": 32.24, "journal_impact": 74.84, "conceptual_innovation": 43.33, "knowledge_breadth": 71.27, "semantic_novelty": 64.57, "team_collaboration": 19.51, "disruptiveness": 68.31 }, "impact_factor": 3.8, "partition": "Q1" } ], "backup": [ ... ] } ``` ### 评测结果（JSON） 每个模型每个模式一个 `*_results.json`，条目字段包括： - `bibcode`：论文标识 - `status`：`success` / `failed` - `model_prediction_score`：模型预测总分 - `model_prediction_dimensions`：模型预测七维度分数 - `ground_truth_score_100`：GT 总分 - `ground_truth_dimensions`：GT 七维度 - `tool_call_log`：工具调用轨迹（仅 dimagent_v3 模式） ## 快速复现 ### 1. 运行评测 ```bash cd 最终评测/黄金评测集 # 配置环境 export PYTHONUNBUFFERED=1 export EVAL_TOOL_BACKEND=openalex export OPENALEX_MAP_FILE="openalex_bibcode_map_six_discipline.json" export AIMUX_API_KEY="你的AIMUX密钥" # 运行四模式评测（以 gemini-3.5-flash 为例） bash run_gemini35flash_sixdisc_v2.sh ``` ### 2. 生成报告 ```bash cd 最终评测/黄金评测集 python generate_results_report.py # 输出：evaluation_results_report.md ``` ### 3. 重算 V6 分数 ```bash cd 独立论文部分 python compute_v6_spec.py ``` ### 4. 重建黄金评测集 ```bash cd 最终评测/黄金评测集 python create_golden_evaluation_dataset.py # 输出：golden_evaluation_dataset_v5_final50_six_discipline_v2.json ``` ## 当前评测结果摘要（最新） | 模型 | Pure QA | Native Search | DimAgent-v3 | DimAgent + Native | |:--|:--:|:--:|:--:|:--:| | qwen-3.8-max | 28.10 [E] | 31.60 [E] | **51.80 [D]** | 50.30 [D] | | qwen3.7-plus | 23.20 [E] | 20.80 [E] | 47.60 [D] | 48.10 [D] | | qwen3.7-max | 20.10 [E] | 21.10 [E] | 47.70 [D] | 47.20 [D] | | claude-fable-5 | 27.60 [E] | 32.70 [E] | 47.00 [D] | 39.30 [E] | | claude-opus-4-8 | 25.50 [E] | 27.00 [E] | 34.50 [E] | 40.70 [D] | | gpt-5.6-sol | 19.20 [F] | 19.50 [F] | 10.60 [F] | 28.70 [E] | | gemini-3.5-flash | 16.40 [F] | 16.50 [F] | 17.70 [F] | 17.60 [F] | > 档位：A (<5%)、B (5–10%)、C (10–20%)、D (20–30%)、E (30–50%)、F (≥50%)，基于逐篇 sMAPE 均值。 ## 已知问题与限制 1. **gemini-3.5-flash 的 native_search**：187 条因 `content_filter` 永久失败，属于 evamux/模型层内容过滤，无法通过调整 prompt 绕过 2. **claude-fable-5**：部分生物/医学/化学题目因内容过滤返回空内容，失败数随模式递增（9/20/11/9） 3. **gpt-5.6-sol 的 dimagent_v3**：工具模式下 `temperature`/`reasoning_effort` 与 tools 共存报 400，已在 `llm_client.py` 中针对该模型禁用这两个参数 4. **物理学科**：原始八子领域数据集较大，重建物理 1000 题候选池需要依赖 CSV ## 技术栈 - **语言**：Python 3.8+ - **主要依赖**： - `requests`：API 调用 - `scipy`：统计检验 - `numpy`：数值计算 - `scikit-learn`：机器学习权重推导 - `pandas`：数据处理 - `openai` / `evamux`：LLM API 网关 - **数据源**： - **NASA ADS**：物理/天体论文元数据 - **OpenAlex**：多学科论文 + 引用 + 概念 - **Semantic Scholar**：语义新颖性特征 ## 引用 如果你在论文或报告中引用本项目数据，请参考： ```bibtex @misc{frontierscience2026, title = {FrontierScience: Cross-disciplinary Scientific Innovation Evaluation Benchmark for Large Language Models}, author = {Gao, Xinyi and others}, year = {2026}, note = {6-discipline, V6-weighted, 4-mode evaluation framework}, } ``` ## 许可 本项目采用 MIT 许可证。