FormationEval
收藏资源简介：
FormationEval是一个开放的多选题（MCQ）基准数据集，用于评估语言模型在石油地质科学和地下学科中的表现。该数据集包含505个问题，涵盖7个领域，每个问题都有详细的元数据，包括领域、主题、难度级别和来源。数据集还提供了一个评估72种模型的排行榜，重点关注成本效益和准确性。数据集的结构包括'id'、'question'、'choices'、'answer_key'和'rationale'等字段。数据集采用CC BY 4.0许可，提供JSON和Parquet格式。
FormationEval is an open-access multiple-choice question (MCQ) benchmark dataset developed to evaluate the performance of language models in petroleum geoscience and subsurface disciplines. It consists of 505 questions covering 7 distinct domains, with each question accompanied by comprehensive metadata including domain, topic, difficulty level and source. Furthermore, the dataset includes a leaderboard that evaluates 72 models, with a primary focus on cost-effectiveness and predictive accuracy. The dataset’s structure comprises fields such as 'id', 'question', 'choices', 'answer_key' and 'rationale'. It is licensed under CC BY 4.0 and is available in both JSON and Parquet formats.
FormationEval 数据集概述
基本信息
- 数据集名称：FormationEval
- 创建者：Almaz Ermilov
- 发布日期：2026年
- 论文：arXiv:2601.02158
- 许可证：CC BY 4.0
- 任务类别：问答、多项选择
- 语言：英语
- 数据规模：小于1K条样本
- 配置名称：default
- 数据文件：formationeval_v0.1.json（测试集）
数据集描述
FormationEval 是一个用于评估语言模型在石油地质科学和地下学科表现的开源多项选择题基准。
核心内容
- 问题数量：505道
- 覆盖领域：7个
- 评估模型数量：72个
- 数据来源：3个权威来源（Ellis & Singer (2007), Bjørlykke (2010), TU Delft OCW）
数据集结构
特征字段
| 字段名 | 类型 | 描述 |
|---|---|---|
| id | string | 唯一问题标识符 |
| version | string | 基准版本 |
| domains | list[string] | 广泛类别 |
| topics | list[string] | 具体主题 |
| difficulty | string | 难度等级（easy, medium, hard） |
| language | string | 问题语言 |
| question | string | 问题文本 |
| choices | list[string] | 四个答案选项（A-D） |
| answer_index | int64 | 正确答案索引（0-3） |
| answer_key | string | 正确答案字母（A-D） |
| rationale | string | 正确答案解释 |
| sources | list[dict] | 来源元数据 |
| derivation_mode | string | 问题创建方式 |
| metadata | dict | 附加标志 |
数据划分
- 测试集：505个样本
领域分布
| 领域 | 问题数量 |
|---|---|
| 岩石物理学 | 272 |
| 石油地质学 | 151 |
| 沉积学 | 98 |
| 地球物理学 | 80 |
| 油藏工程 | 43 |
| 钻井工程 | 24 |
| 生产工程 | 14 |
难度分布
| 难度等级 | 数量 | 百分比 |
|---|---|---|
| 简单 | 132 | 26% |
| 中等 | 274 | 54% |
| 困难 | 99 | 20% |
评估结果摘要
排行榜（前20名模型）
| 排名 | 模型 | 开源 | 价格（$/M） | 准确率 |
|---|---|---|---|---|
| 1 | gemini-3-pro-preview | 否 | $2.00/$12.00 | 99.8% |
| 2 | glm-4.7 | 是 | $0.40/$1.50 | 98.6% |
| 3 | gemini-3-flash-preview | 否 | $0.50/$3.00 | 98.2% |
| 4 | gemini-2.5-pro | 否 | $1.25/$10.00 | 97.8% |
| 5 | grok-4.1-fast | 否 | $0.20/$0.50 | 97.6% |
开源模型（全部32个）
GLM-4.7以98.6%的准确率在开源模型中排名第一，总体排名第二。
相关资源
- GitHub仓库：https://github.com/AlmazErmilov/FormationEval-an-Open-Benchmark-for-Oil-Gas-Geoscience-MCQ-Evaluation
- 交互式排行榜：https://huggingface.co/spaces/AlmazErmilov/FormationEval-Leaderboard
- 官方网站：https://www.formationeval.no
- 数据集文件：formationeval_v0.1.json, formationeval_v0.1.parquet, formationeval_v0.1.pdf
使用方式
python from datasets import load_dataset ds = load_dataset("AlmazErmilov/FormationEval")
引用格式
bibtex @misc{ermilov2026formationeval, title={FormationEval, an open multiple-choice benchmark for petroleum geoscience}, author={Almaz Ermilov}, year={2026}, eprint={2601.02158}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2601.02158}, doi={10.48550/arXiv.2601.02158} }
