open-llm-leaderboard-old/details_openchat__openchat-3.5-0106-gemma

该数据集是在模型openchat/openchat-3.5-0106-gemma的评估运行中自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

该数据集是在对模型 openchat/openchat-3.5-0106-gemma 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 该数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_openchat__openchat-3.5-0106-gemma", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果来自 run 2024-03-10T01:11:51.946605 的摘要：

python { "all": { "acc": 0.6494077725351517, "acc_stderr": 0.0322000566954579, "acc_norm": 0.6496352395612349, "acc_norm_stderr": 0.03286748315457976, "mc1": 0.3990208078335373, "mc1_stderr": 0.017142825728496763, "mc2": 0.5493155489550888, "mc2_stderr": 0.015872860667035752 }, "harness|arc:challenge|25": { "acc": 0.6168941979522184, "acc_stderr": 0.014206472661672877, "acc_norm": 0.6467576791808873, "acc_norm_stderr": 0.013967822714840055 }, "harness|hellaswag|10": { "acc": 0.6145190201155148, "acc_stderr": 0.004857140410776736, "acc_norm": 0.810794662417845, "acc_norm_stderr": 0.003908711791243487 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.33, "acc_stderr": 0.04725815626252606, "acc_norm": 0.33, "acc_norm_stderr": 0.04725815626252606 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5703703703703704, "acc_stderr": 0.042763494943765995, "acc_norm": 0.5703703703703704, "acc_norm_stderr": 0.042763494943765995 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6973684210526315, "acc_stderr": 0.0373852067611967, "acc_norm": 0.6973684210526315, "acc_norm_stderr": 0.0373852067611967 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.76, "acc_stderr": 0.042923469599092816, "acc_norm": 0.76, "acc_norm_stderr": 0.042923469599092816 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6943396226415094, "acc_stderr": 0.028353298073322666, "acc_norm": 0.6943396226415094, "acc_norm_stderr": 0.028353298073322666 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7152777777777778, "acc_stderr": 0.037738099906869334, "acc_norm": 0.7152777777777778, "acc_norm_stderr": 0.037738099906869334 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.48, "acc_stderr": 0.050211673156867795, "acc_norm": 0.48, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.55, "acc_stderr": 0.05, "acc_norm": 0.55, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.35, "acc_stderr": 0.047937248544110196, "acc_norm": 0.35, "acc_norm_stderr": 0.047937248544110196 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6184971098265896, "acc_stderr": 0.03703851193099521, "acc_norm": 0.6184971098265896, "acc_norm_stderr": 0.03703851193099521 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4117647058823529, "acc_stderr": 0.04897104952726366, "acc_norm": 0.4117647058823529, "acc_norm_stderr": 0.04897104952726366 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.76, "acc_stderr": 0.04292346959909281, "acc_norm": 0.76, "acc_norm_stderr": 0.04292346959909281 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.6297872340425532, "acc_stderr": 0.03156564682236784, "acc_norm": 0.6297872340425532, "acc_norm_stderr": 0.03156564682236784 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.5087719298245614, "acc_stderr": 0.04702880432049615, "acc_norm": 0.5087719298245614, "acc_norm_stderr": 0.04702880432049615 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5724137931034483, "acc_stderr": 0.04122737111370332, "acc_norm": 0.5724137931034483, "acc_norm_stderr": 0.04122737111370332 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.49206349206349204, "acc_stderr": 0.025748065871673286, "acc_norm": 0.49206349206349204, "acc_norm_stderr": 0.025748065871673286 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.49206349206349204, "acc_stderr": 0.044715725362943486, "acc_norm": 0.49206349206349204, "acc_norm_stderr": 0.044715725362943486 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.46, "acc_stderr": 0.05009082659620332, "acc_norm": 0.46, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7838709677419354, "acc_stderr": 0.02341529343356852, "acc_norm": 0.7838709677419354, "acc_norm_stderr": 0.02341529343356852 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.5073891625615764, "acc_stderr": 0.0351760354036101, "acc_norm": 0.5073891625615764, "acc_norm_stderr": 0.0351760354036101 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.69, "acc_stderr": 0.04648231987117316, "acc_norm": 0.69, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7878787878787878, "acc_stderr": 0.031922715695483, "acc_norm": 0.7878787878787878, "acc_norm_stderr": 0.031922715695483 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.8181818181818182, "acc_stderr": 0.0274796030105388, "acc_norm": 0.8181818181818182, "acc_norm_stderr": 0.0274796030105388 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.917098445595855, "acc_stderr": 0.01989934131572178, "acc_norm": 0.917098445595855, "acc_norm_stderr": 0.01989934131572178 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6384615384615384, "acc_stderr": 0.02435958146539699, "acc_norm": 0.6384615384615384, "acc_norm_stderr": 0.02435958146539699 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.337037037037037, "acc_stderr": 0.02882088466625325, "acc_norm": 0.337037037037037, "acc_norm_stderr": 0.02882088466625325 }, "har

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 为模型性能的量化分析提供了标准化平台。本数据集是针对 openchat/openchat-3.5-0106-gemma 模型执行单次评测运行后自动生成的产物。数据集由 63 个配置组成，每个配置对应一个被评估的任务，涵盖 ARC-Challenge、HellaSwag、GSM8K、Winogrande、TruthfulQA 以及涵盖 57 个学科的 MMLU（HendrycksTest）等基准。每个运行结果以时间戳命名的分割形式存储于对应配置中，而 'train' 分割则始终指向最新评测结果。此外，一个名为 'results' 的独立配置专门聚合了该次运行的所有汇总指标，用于在排行榜上计算与展示综合性能。

特点

该数据集的核心特色在于其结构化的多任务评测框架与动态更新机制。63 个配置覆盖了从常识推理、数学解题到广泛学科知识的多元能力维度，使研究者能够从细粒度层面剖析模型的优势与短板。每个配置内，不同时间戳的分割忠实记录了历次评测的原始细节，而 'train' 分割的自动指向功能确保了最新数据始终可及。'results' 配置则通过整合诸如准确率（acc）、标准化准确率（acc_norm）及多项选择指标（mc1、mc2）等统计量，提供了模型整体性能的宏观视图，为横向对比与趋势分析奠定了坚实基础。

使用方法

研究者可通过 Hugging Face Datasets 库便捷地加载本数据集。例如，使用 `load_dataset` 函数并指定配置名称（如 'harness_winogrande_5'）及所需分割（如 'train'），即可获取特定任务的评测细节。若需访问历史运行数据，可依据时间戳分割名称进行加载；而 'train' 分割始终指向最新结果，便于实时追踪模型表现。对于聚合结果，加载 'results' 配置可直接获取包含各任务指标的综合 JSON 对象。这种设计支持从单任务微观分析到多任务宏观评估的灵活切换，极大提升了评测数据的使用效率。

背景与挑战

背景概述

在大型语言模型（LLM）领域，评估模型的综合能力已成为推动技术进步的关键环节。由HuggingFace团队于2024年创建的Open LLM Leaderboard，旨在通过标准化基准测试，系统性地衡量各类开源模型的性能。该数据集聚焦于openchat/openchat-3.5-0106-gemma模型的评估运行，由Clémentine等人主导，覆盖了63个任务配置，涵盖从常识推理到专业学科知识的广泛维度，如ARC挑战、HellaSwag、MMLU及GSM8K等。其核心研究问题在于如何构建一个透明、可复现的评估体系，以揭示模型在多样化场景下的真实表现。自发布以来，该数据集已成为社区比较模型优劣的重要参考，推动了开源LLM的良性竞争与发展。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，LLM评估需应对任务多样性与评价标准一致性的矛盾，例如不同任务（如数学推理与常识问答）对模型能力的要求迥异，而单一指标难以全面反映模型优劣。在构建过程中，挑战包括：1）确保评估数据的时效性与覆盖度，避免因任务过时或偏颇导致结论失真；2）管理多轮运行结果的可追溯性，如时间戳分片与最新结果的动态更新；3）处理海量细粒度结果（如63个配置）的存储与高效加载，需依赖Parquet格式与结构化拆分来平衡性能与可访问性。这些挑战共同考验着评估框架的鲁棒性与可扩展性。

常用场景

经典使用场景

在大型语言模型评测领域，该数据集作为Open LLM Leaderboard的标准化评估记录，为模型性能的横向对比提供了基准框架。经典使用场景包括通过加载特定任务配置（如arc_challenge或gsm8k）的parquet文件，复现模型在推理、常识理解与数学求解等维度上的表现。研究人员可借助其63个任务配置与时间戳分割，精准追溯模型在不同评测轮次中的能力演化轨迹。

解决学术问题

该数据集核心解决了大模型评测中结果可复现性与透明度缺失的学术痛点。通过结构化存储模型在ARC、HellaSwag、MMLU等57项子任务上的原始得分与误差指标，为消融实验、模型对比与能力边界界定提供了实证基础。其意义在于推动评测标准化，使学术社区能基于统一指标检验模型在知识推理、伦理判断与多学科理解上的泛化能力，规避了孤立报告结果导致的比较偏差。

衍生相关工作

该数据集衍生出多项经典工作，包括基于其评测结果构建的模型能力雷达图与排行榜动态可视化工具，以及针对低分任务（如moral_scenarios）设计的对抗训练框架。后续研究还利用其时间戳分割特性，分析了训练数据污染对评测分数的影响，并催生了多任务联合优化算法，通过加权各子任务误差来提升模型在弱势领域（如抽象代数、大学数学）的鲁棒性。