General365
收藏资源简介：
General365是一个高度挑战性和多样化的基准数据集，用于评估大型语言模型在通用推理能力方面的表现。通用推理指的是仅依赖于通用知识的推理任务，通用知识被定义为K-12范围内的知识（如常识、基础语言学和基础学科知识），不包括大学水平的学术知识。与特定领域的推理（如数学推理）相比，通用推理评估能更好地将模型的推理能力与其知识依赖性解耦，从而更精确地评估推理技能而非死记硬背，同时测试模型在更广泛场景中的推理能力泛化。
General365 is a highly challenging and diverse benchmark dataset for evaluating the general reasoning capabilities of large language models. General reasoning refers to reasoning tasks that rely solely on general knowledge, which is defined as knowledge within the K-12 scope (such as common sense, basic linguistics and basic disciplinary knowledge), excluding university-level academic knowledge. Compared with domain-specific reasoning (such as mathematical reasoning), general reasoning evaluation can better decouple the model's reasoning ability from its knowledge dependence, thereby more accurately assessing reasoning skills rather than rote memorization, while testing the generalization of the model's reasoning ability across a wider range of scenarios.
General365 数据集概述
数据集简介
General365 是一个用于评估大语言模型通用推理能力的高挑战性、高多样性基准测试。其核心目标是评估模型在严格限定于 K-12 知识范围内的通用知识上进行推理的能力，从而更精确地衡量模型的推理技能，而非知识记忆。
核心特性
- 高多样性：包含 365 个手动精心设计、高度多样化的种子问题，旨在覆盖广泛的推理挑战，避免重复特征或模式。通过改变表面语义或约束条件同时保留核心推理技能，这些种子问题被进一步扩展为 1,095 个变体。
- 高挑战性：涵盖 8 个具有挑战性的类别。即使是最先进的模型在这些任务上也仅能达到“及格”水平的性能。
- 聚焦推理而非知识：所需知识严格限定在 K-12 范围内，确保数据集衡量的是模型的推理能力，而非知识检索能力。
- 严格的质量控制：所有实例均经过人工审核，以确保最高质量标准。
- 精确的评分：采用基于规则和基于模型的混合评分算法，经人工验证的评分准确率达到 99.6%。
数据构成与发布
- 为确保评估的公正性，仅发布了全部问题的一半。其余问题作为保留测试集，用于追踪开源部分可能存在的数据污染问题。
- 数据集包含 365 个种子问题及其扩展的 1,095 个变体。
评估与使用
- 评估脚本结合了基于规则和基于模型的方法进行评分。
- 使用流程包括准备模型响应文件（JSONL 格式）和运行评分脚本。
- 评估结果将保存在指定目录中。
相关资源
- 论文地址：https://arxiv.org/abs/2604.11778
- 项目主页：https://general365.github.io/
- 排行榜：https://general365.github.io/#Leaderboard
- 数据集（Hugging Face）：https://huggingface.co/datasets/meituan-longcat/General365_Public
- 代码仓库：https://github.com/meituan-longcat/General365
引用
如使用该数据集，请引用相关论文：
@misc{general365benchmark, title={General365: Benchmarking General Reasoning in Large Language Models Across Diverse and Challenging Tasks}, author={Junlin Liu and Shengnan An and Shuang Zhou and Dan Ma and Shixiong Luo and Ying Xie and Yuan Zhang and Wenling Yuan and Yifan Zhou and Xiaoyu Li and Ziwen Wang and Xuezhi Cao and Xunliang Cai}, year={2026}, eprint={2604.11778}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2604.11778}, }
许可证
本项目采用 MIT 许可证。
