A3-Bench
收藏资源简介：
A3-Bench是一个用于评估科学推理能力的基准测试数据集，基于双尺度记忆驱动激活（Anchor和Attractor Activation）设计。该数据集包含2,198个科学推理问题，涵盖数学、物理和化学三个主要科学领域。每个问题分为ques（问题）、anchor（知识锚点）和attractor（知识吸引子）三个部分。数据集通过SAPM标注过程和AAUI指标来评估记忆激活率，旨在填补现有基准测试在评估记忆驱动机制方面的空白。
A3-Bench 数据集概述
基本信息
- 数据集名称：A3-Bench
- 语言：英语
- 许可证：MIT
- 数据规模：1K<n<10K
- 任务类别：问答
- 标签：化学、物理、数学、记忆驱动
数据集描述
A3-Bench 是一个旨在通过双尺度记忆驱动激活（基于锚点和吸引子激活）来评估科学推理能力的基准测试。
核心目标
该基准测试旨在解决现有评估主要关注最终答案或逐步连贯性，而忽视了人类推理基础记忆驱动机制的问题。
关键特性
- SAPM标注流程：用于2198个科学推理问题的专门标注流程（主题、锚点与吸引子、问题、记忆发展）。
- 双尺度记忆评估框架：利用锚点和吸引子来衡量记忆激活。
- AAUI指标：用于衡量记忆激活率的锚点-吸引子利用指数。
数据结构
数据集包含2198个问题，涵盖三个主要科学领域：
- 数学
- 物理
- 化学
配置与文件
数据集包含三个配置，每个配置下有三个数据分割：
- 配置名称：
mathques分割文件：math/ques.jsonlanchor分割文件：math/anchor.jsonlattractor分割文件：math/attractor.jsonl
- 配置名称：
physicsques分割文件：physics/ques.jsonlanchor分割文件：physics/anchor.jsonlattractor分割文件：physics/attractor.jsonl
- 配置名称：
chemistryques分割文件：chemistry/ques.jsonlanchor分割文件：chemistry/anchor.jsonlattractor分割文件：chemistry/attractor.jsonl
分割说明
ques：实际的科学推理问题。anchor：与问题相关的知识锚点。attractor：用于评估经验记忆激活的知识吸引子。
相关资源
- 项目主页：https://a3-bench.github.io/
- 论文：https://arxiv.org/abs/2601.09274
- GitHub仓库：https://github.com/exoskeletonzj/A3-Bench
引用信息
如果使用此基准测试或数据集，请引用以下论文： bibtex @misc{zhang2026a3benchbenchmarkingmemorydrivenscientific, title={$A^3$-Bench: Benchmarking Memory-Driven Scientific Reasoning via Anchor and Attractor Activation}, author={Jian Zhang and Yu He and Zhiyuan Wang and Zhangqi Wang and Kai He and Fangzhi Xu and Qika Lin and Jun Liu}, year={2026}, eprint={2601.09274}, archivePrefix={arXiv}, primaryClass={cs.AI}, url={https://arxiv.org/abs/2601.09274}, }
