Open-Style/Open-LLM-Benchmark

Open-LLM-Leaderboard数据集用于跟踪各种大型语言模型（LLMs）在开放式问题上的表现，以反映其真实能力。该数据集包括预生成的模型答案和使用LLM评估器的评估结果。数据集的结构包括模型响应文件和问题文件，其中模型响应文件包含问题、标准答案、模型生成的答案及其评估结果，问题文件包含问题、选项、过滤信息等。数据集的创建部分提到，数据来源于多个数据集，如MMLU、ARC、WinoGrande等，适合用于开放式回答。

原始信息汇总

Open-LLM-Benchmark 数据集概述

数据集描述

Open-LLM-Leaderboard 数据集用于跟踪各种大型语言模型（LLMs）在开放式问题上的表现，以反映其真实能力。该数据集包括预生成的模型答案和使用基于LLM的评估器进行的评估。

数据集结构

数据集包含以下类型的文件：

• 模型响应文件：包含问题、标准答案、模型生成的答案、评估结果等信息。
• 问题文件：包含问题、答案选项、过滤信息等。

示例

模型响应文件示例

json { "question": "What is the main function of photosynthetic cells within a plant?", "gold_answer": "to convert energy from sunlight into food energy", "os_answer": "The main function of photosynthetic cells ...", "os_eval": "Correct", "mcq_answer": "C", "mcq_eval": true, "dataset": "ARC" }

问题文件示例

json { "question": "An astronomer observes that a planet rotates faster after a meteorite impact. Which is the most likely effect of this increase in rotation?", "answerKey": "C", "options": [ { "label": "A", "text": "Planetary density will decrease." }, { "label": "B", "text": "Planetary years will become longer." }, { "label": "C", "text": "Planetary days will become shorter." }, { "label": "D", "text": "Planetary gravity will become stronger." } ], "first_filter": "YES", "passage": "-", "second_filter": 10, "dataset": "ARC" }

数据集创建

数据来源

数据集包含来自多个数据集的问题，包括 MMLU、ARC、WinoGrande、PIQA、CommonsenseQA、Race、MedMCQA 和 OpenbookQA，这些数据集适合用于开放式回答。

数据收集与处理

数据收集过程涉及从上述数据集中编译问题，并使用各种LLMs生成答案。

引用

@article{myrzakhan2024openllm, title={Open-LLM-Leaderboard: From Multi-choice to Open-style Questions for LLMs Evaluation, Benchmark, and Arena}, author={Aidar Myrzakhan, Sondos Mahmoud Bsharat, Zhiqiang Shen}, journal={arXiv preprint }, year={2024}, }

搜集汇总

数据集介绍

构建方式

Open-LLM-Benchmark数据集旨在评估大型语言模型在开放式问题上的真实性能，其构建过程严谨且系统。该数据集从MMLU、ARC、WinoGrande、PIQA、CommonsenseQA、Race、MedMCQA和OpenbookQA等多个权威基准中精选问题，确保覆盖广泛的知识领域。随后，利用GPT-4、GPT-3.5、Claude、Gemini、Mistral、Llama3等十余种先进语言模型生成预制的模型回答，并借助基于LLM的评估器对这些回答进行自动化评判。数据以JSON格式存储，包含问题、标准答案、模型开放式回答、评估结果及多选题答案等字段，通过HuggingFace平台按模型名称分配置组织，便于研究者直接加载与使用。

使用方法

使用Open-LLM-Benchmark数据集时，研究者可通过HuggingFace的datasets库按配置名称加载特定子集，如加载GPT-4的生成结果使用gpt4配置，加载问题集合使用questions配置。数据以JSON格式提供，每个样本包含question、gold_answer、os_answer、os_eval等字段，可直接用于分析模型回答的准确性。对于需要自定义评估的场景，研究者可仅加载questions配置，利用其中的标准答案和选项，结合自身模型生成新回答。数据集支持直接用于排行榜构建、模型对比实验或评估器性能校验，其标准化结构便于集成到现有评估流水线中，而CC-BY 4.0许可确保了广泛的研究与商业使用自由度。

背景与挑战

背景概述

随着大语言模型（LLMs）在自然语言处理领域取得突破性进展，如何科学、全面地评估其真实能力成为学术界与工业界共同关注的核心议题。传统的多选式评测基准（如MMLU、ARC、WinoGrande等）虽广泛应用，却难以捕捉模型在开放式生成任务中的表现，尤其在推理连贯性、知识整合与开放性应答方面存在显著局限。为应对这一挑战，Open-LLM-Benchmark数据集由Aidar Myrzakhan、Sondos Mahmoud Bsharat与Zhiqiang Shen于2024年提出，旨在构建一个基于开放式问题的大语言模型评测框架。该数据集整合了来自MMLU、ARC、PIQA、CommonsenseQA、Race、MedMCQA、OpenbookQA等多个经典基准的题目，并收集了包括GPT-4、GPT-3.5、Claude、Gemini、Mistral、Llama3等主流模型生成的答案及基于LLM的自动化评估结果，从而提供了从多选到开放式问答的全面性能画像，为LLM能力评估提供了更具生态效度的新范式。

当前挑战

Open-LLM-Benchmark面临的核心挑战涵盖领域问题与构建过程两个层面。在领域问题方面，传统多选评测虽易于量化，却无法反映模型在开放式生成中的真实表现，如答案的完整性、逻辑连贯性与知识准确性，导致评估结果与实际应用能力之间存在偏差，亟需构建能兼顾开放性与可比较性的评测体系。在构建过程中，挑战体现在多个维度：首先，如何从不同格式的源数据中提取开放式问题并设计统一的回答模板，以确保跨模型答案的可比性；其次，LLM作为评估器本身存在偏见与不一致性，如何校准其评分标准以避免评价结果失真；此外，数据集的规模与多样性带来存储与处理负担，需平衡覆盖广度与资源效率，同时确保不同语言模型生成的答案在语义层面具有可比性。

常用场景

经典使用场景

Open-LLM-Benchmark数据集的经典使用场景在于对大型语言模型进行开放式问答能力的系统性评估。该数据集整合了MMLU、ARC、WinoGrande、PIQA、CommonsenseQA等多元基准测试中的问题，并预先收集了GPT-4、Claude、Gemini、Llama 3等主流模型的生成答案。研究者可借助LLM-based评估器对模型回答进行自动化评判，从而摆脱传统多选范式的局限，更真实地反映模型在自由文本生成中的理解与推理水平。这一设计使得模型间的横向对比不再局限于封闭选项，而是深入至语义准确性与知识完整性层面。

解决学术问题

该数据集有效解决了当前大模型评估中普遍存在的“多选偏差”问题，即模型在固定选项上的表现未必能映射其真实语言理解与生成能力。通过引入开放式问题与自由回答机制，Open-LLM-Benchmark促使研究者重新审视模型在复杂语境下的知识调用与逻辑构建能力。其意义在于推动评估体系从封闭式选择向开放式推理演进，为衡量模型在零样本或少样本条件下的泛化能力提供了标准化框架，进而影响了后续诸多关于模型鲁棒性与对齐性的学术探讨。

实际应用

在实际应用中，Open-LLM-Benchmark可服务于模型开发与迭代过程中的性能诊断，帮助工程师快速定位模型在开放式问答中的薄弱环节，例如事实准确性不足或逻辑链条断裂。此外，该数据集还可作为模型上线前的质量门禁，通过对比不同版本在相同开放式问题集上的表现差异，辅助决策模型部署策略。在智能客服、教育辅导、内容生成等依赖自由文本交互的工业场景中，该基准能够提供贴近真实用户需求的评估指标，从而指导模型优化方向。

数据集最近研究

最新研究方向

Open-LLM-Benchmark数据集聚焦于大语言模型在开放式问题上的真实能力评估，突破了传统多选任务框架，引入LLM驱动的自动评判机制，涵盖GPT-4、Claude、Gemini等前沿模型及MMLU、ARC等多源基准。当前研究热点集中于利用该数据集构建更公平、可复现的模型性能排行榜，探索开放问答与多选任务之间的能力差异，推动评估范式从封闭式向开放式演进。该工作与LLM竞赛、模型透明度运动紧密关联，为社区提供了衡量模型推理与生成质量的标准化工具，对引导模型优化方向、提升人机交互可靠性具有深远意义。