SCI-VerifyBench
收藏资源简介：
SCI-VerifyBench是一个跨学科基准测试，用于评估大型语言模型在科学验证方面的能力，涵盖数学、物理、化学、生物学和一般科学问答领域。它包含通过领域特定等价变换增强的真实LLM响应，并带有模型和人类专家的高质量标注。该数据集展示了在数学、物理、化学、生物学和问答等多个领域的熟练程度
SCI-VerifyBench is an interdisciplinary benchmark designed to evaluate the scientific verification capabilities of large language models (LLMs), covering the domains of mathematics, physics, chemistry, biology, and general scientific question answering. It contains authentic LLM responses enhanced via domain-specific equivalence transformations, paired with high-quality annotations from both AI models and human experts. This benchmark demonstrates proficiency across multiple fields including mathematics, physics, chemistry, biology, and question answering.
SCI-Verifier数据集概述
数据集基本信息
- 数据集名称: SCI-VerifyBench
- 核心功能: 评估大型语言模型科学验证能力的跨学科基准
- 覆盖领域: 数学、物理、化学、生物学和通用科学问答
- 数据特点: 包含真实LLM响应，通过领域特定等价转换增强，具有模型和人类专家高质量标注
数据集构成
数据字段说明
- uid: 每个问题的唯一标识符
- question: 问题文本
- gold_answer: 正确答案/参考答案
- raw_llm_response: LLM生成的原始响应
- llm_response: 根据规则提取的LLM答案最终结果
- answer_type: 答案格式（表达式、数值、区间、方程等）
- data_source: 问题来源数据集
- domain: 问题领域（数学、物理、化学、生物学或QA）
- task_type: 任务对应类别
- gold_judgment: 验证判断（真/假）
- aug: 答案是否通过等价转换生成
- llm: 与llm_response相关的LLM
相关资源
- 论文地址: https://arxiv.org/abs/2506.00022
- Hugging Face地址: https://huggingface.co/datasets/desimfj/SCI-VerifyBench
- 数据下载地址: https://huggingface.co/datasets/desimfj/SCI-VerifyBench
技术框架
SCI-Verifier采用两阶段后训练方法（SFT和RL），开发具有简洁推理能力的科学验证器，在判断答案等价性方面表现出强大能力。
引用信息
bibtex @article{zheng2025sci, title={SCI-Verifier: Scientific Verifier with Thinking}, author={Zheng, Shenghe and Huang, Chenyu and Yu, Fangchen and Yao, Junchi and Ye, Jingqi and Chen, Tao and Luo, Yun and Ding, Ning and Bai, Lei and Cui, Ganqu and others}, journal={arXiv preprint arXiv:2509.24285}, year={2025} }
