xw27/scibench

SciBench是一个用于评估大型语言模型（LLMs）在解决大学水平科学问题方面的复杂推理能力、强大领域知识和高级计算技能的新基准。数据集来源于教学教科书，旨在评估LLMs在科学问题解决方面的能力。

原始信息汇总

SciBench 数据集概述

数据集目的

SciBench 是一个专为评估大型语言模型（LLMs）在大学水平科学问题上的复杂推理能力、领域知识和高级计算技能而设计的新型基准。

数据来源

数据集中的问题来源于大学水平的教科书。

引用信息

若使用此数据集，请引用以下文献：

@inproceedings{wang2024scibench, author = {Wang, Xiaoxuan and Hu, Ziniu and Lu, Pan and Zhu, Yanqiao and Zhang, Jieyu and Subramaniam, Satyen and Loomba, Arjun R. and Zhang, Shichang and Sun, Yizhou and Wang, Wei}, title = {{SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models}}, booktitle = {Proceedings of the Forty-First International Conference on Machine Learning}, year = {2024}, }

许可证

数据集遵循 MIT 许可证。