open-llm-leaderboard/details_openchat__openchat_3.5

该数据集是在模型openchat/openchat_3.5的评估运行期间自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由64个配置组成，每个配置对应一个评估任务。数据集是从3次运行中创建的，每次运行都可以在每个配置中找到特定的分割，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

This dataset was automatically created during the evaluation runs of the openchat/openchat_3.5 model, for evaluation on the Open LLM Leaderboard. The dataset consists of 64 configurations, each corresponding to one evaluation task. It is compiled from three evaluation runs, where each run contains a dedicated split for every configuration, and the split names are named after the run's timestamp. The train split always points to the most recent results. Additionally, there is a configuration named `results` that stores the aggregated results across all runs, and is used to calculate and display the aggregate metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

数据集 Evaluation run of openchat/openchat_3.5 是在模型 openchat/openchat_3.5 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 3 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_openchat__openchat_3.5_public", "harness_winogrande_5", split="train")

最新结果

以下是 2023-11-19T10:30:18.054013 运行的最新结果：

python { "all": { "acc": 0.6253361427748827, "acc_stderr": 0.03243199538325514, "acc_norm": 0.6324168865850391, "acc_norm_stderr": 0.033117338974973515, "mc1": 0.3023255813953488, "mc1_stderr": 0.016077509266133036, "mc2": 0.4543017595862846, "mc2_stderr": 0.015109332514210328, "em": 0.0026216442953020135, "em_stderr": 0.0005236685642965895, "f1": 0.0692680369127516, "f1_stderr": 0.0014684205896877763 }, "harness|arc:challenge|25": { "acc": 0.5836177474402731, "acc_stderr": 0.014405618279436174, "acc_norm": 0.6245733788395904, "acc_norm_stderr": 0.014150631435111728 }, "harness|hellaswag|10": { "acc": 0.6450906193985262, "acc_stderr": 0.0047750796365670966, "acc_norm": 0.839573790081657, "acc_norm_stderr": 0.003662508272330902 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5851851851851851, "acc_stderr": 0.04256193767901408, "acc_norm": 0.5851851851851851, "acc_norm_stderr": 0.04256193767901408 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6776315789473685, "acc_stderr": 0.03803510248351585, "acc_norm": 0.6776315789473685, "acc_norm_stderr": 0.03803510248351585 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.55, "acc_stderr": 0.05, "acc_norm": 0.55, "acc_norm_stderr": 0.05 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.690566037735849, "acc_stderr": 0.02845015479411864, "acc_norm": 0.690566037735849, "acc_norm_stderr": 0.02845015479411864 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7222222222222222, "acc_stderr": 0.03745554791462455, "acc_norm": 0.7222222222222222, "acc_norm_stderr": 0.03745554791462455 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.47, "acc_stderr": 0.050161355804659205, "acc_norm": 0.47, "acc_norm_stderr": 0.050161355804659205 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.47, "acc_stderr": 0.050161355804659205, "acc_norm": 0.47, "acc_norm_stderr": 0.050161355804659205 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.32, "acc_stderr": 0.046882617226215034, "acc_norm": 0.32, "acc_norm_stderr": 0.046882617226215034 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6473988439306358, "acc_stderr": 0.036430371689585475, "acc_norm": 0.6473988439306358, "acc_norm_stderr": 0.036430371689585475 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.4117647058823529, "acc_stderr": 0.04897104952726366, "acc_norm": 0.4117647058823529, "acc_norm_stderr": 0.04897104952726366 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.75, "acc_stderr": 0.04351941398892446, "acc_norm": 0.75, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5276595744680851, "acc_stderr": 0.03263597118409769, "acc_norm": 0.5276595744680851, "acc_norm_stderr": 0.03263597118409769 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.4473684210526316, "acc_stderr": 0.04677473004491199, "acc_norm": 0.4473684210526316, "acc_norm_stderr": 0.04677473004491199 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5448275862068965, "acc_stderr": 0.04149886942192117, "acc_norm": 0.5448275862068965, "acc_norm_stderr": 0.04149886942192117 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.4021164021164021, "acc_stderr": 0.02525303255499769, "acc_norm": 0.4021164021164021, "acc_norm_stderr": 0.02525303255499769 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.5, "acc_stderr": 0.04472135954999579, "acc_norm": 0.5, "acc_norm_stderr": 0.04472135954999579 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7483870967741936, "acc_stderr": 0.024685979286239963, "acc_norm": 0.7483870967741936, "acc_norm_stderr": 0.024685979286239963 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.49261083743842365, "acc_stderr": 0.03517603540361008, "acc_norm": 0.49261083743842365, "acc_norm_stderr": 0.03517603540361008 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.68, "acc_stderr": 0.04688261722621505, "acc_norm": 0.68, "acc_norm_stderr": 0.04688261722621505 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7818181818181819, "acc_stderr": 0.032250781083062896, "acc_norm": 0.7818181818181819, "acc_norm_stderr": 0.032250781083062896 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7676767676767676, "acc_stderr": 0.03008862949021749, "acc_norm": 0.7676767676767676, "acc_norm_stderr": 0.03008862949021749 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8652849740932642, "acc_stderr": 0.024639789097709447, "acc_norm": 0.8652849740932642, "acc_norm_stderr": 0.024639789097709447 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6307692307692307, "acc_stderr": 0.02446861524147893, "acc_norm": 0.6307692307692307, "acc_norm_stderr": 0.02446861524147893 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.37777777777777777, "acc_stderr": 0.0295

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，对模型性能的精准度量是推动技术进步的关键环节。该数据集是Open LLM排行榜在评估openchat/openchat_3.5模型时自动生成的产物，其构建过程严谨而系统。数据集由64个配置组成，每个配置对应一项被评估的任务，涵盖了从常识推理到专业学科知识的广泛领域。整个数据集源自三次独立的评估运行，每次运行的结果都被保存为特定分割，并以运行的时间戳命名，而“train”分割则始终指向最新的评估结果。此外，一个名为“results”的额外配置存储了所有运行的聚合结果，用于在排行榜上计算和展示综合指标。数据以Parquet格式存储，确保了高效的数据读取与处理能力。

特点

该数据集最显著的特点在于其结构化的多任务覆盖与版本化追踪能力。64个配置分别对应ARC、HellaSwag、MMLU、TruthfulQA、Winogrande、DROP和GSM8K等多样化基准测试，全面衡量模型在推理、知识、语言理解与数学能力上的表现。每个任务配置下均包含多个时间戳分割，使得研究者能够回溯不同评估阶段的模型表现，观察性能演变轨迹。“latest”分割始终指向最新一次运行的结果，简化了获取当前最佳性能数据的流程。聚合的“results”配置则提供了整体性能的宏观视图，包含准确率、标准差等统计指标，便于进行模型间的横向比较。这种设计既保证了数据的完整性，又兼顾了使用的便捷性。

使用方法

研究人员可通过Hugging Face的datasets库便捷地加载该数据集。例如，使用load_dataset函数并指定配置名称（如“harness_winogrande_5”）和分割（如“train”），即可获取特定任务的最新评估详情。若需分析历史运行数据，则可通过时间戳分割（如“2023_11_19T10_30_18.054013”）加载对应的Parquet文件。对于需要整体性能概览的场景，加载“results”配置并解析其JSON格式的聚合指标，即可获得模型在所有任务上的综合表现。这种灵活的数据访问方式，使得该数据集成为复现排行榜结果、进行细粒度错误分析或追踪模型改进效果的理想工具。

背景与挑战

背景概述

随着大型语言模型（LLMs）在自然语言处理领域的迅猛发展，如何系统性地评估这些模型的综合能力成为学术界与工业界共同关注的焦点。在此背景下，HuggingFace团队于2023年发起了Open LLM Leaderboard项目，旨在构建一个标准化、公开透明的模型评测平台。该数据集正是针对OpenChat团队开发的开源模型openchat/openchat_3.5的评测记录，由Clémentine等研究人员主导创建，集中记录了该模型在64项任务上的性能表现。通过集成ARC、HellaSwag、MMLU、TruthfulQA等多样化基准测试，该数据集为衡量模型在推理、常识理解、知识掌握等维度的能力提供了关键参考，对推动开源LLM的公平比较与迭代优化具有深远影响。

当前挑战

该数据集所反映的核心挑战在于大型语言模型评估的全面性与公平性难题。领域层面上，现有基准测试虽涵盖广泛，但模型在DROP、GSM8K等任务上的低分表现（如EM仅0.26%，GSM8K准确率25.78%）揭示了LLM在精确数值推理与复杂语言理解上的显著短板，亟待更精准的评测方案。构建过程中，评测结果的跨次一致性维护成为技术难点，数据集通过三次独立运行（时间戳标记为2023-11-18T16:15至2023-11-19T10:30）并设置最新分割点来缓解偏差，但连续评测中任务覆盖的波动性仍可能引入数据碎片化问题，影响长期追踪的可靠性。

常用场景

经典使用场景

在大型语言模型（LLM）性能评估的学术领域中，该数据集作为Open LLM Leaderboard的标准化评测基准，为模型openchat/openchat_3.5提供了涵盖64个任务的细粒度表现记录。它整合了ARC-Challenge、HellaSwag、MMLU、TruthfulQA等经典基准的评测结果，使研究者能够系统性地分析模型在常识推理、科学知识、数学计算和阅读理解等多维度能力上的优劣。通过加载不同时间戳的评测分片，学者可追溯模型性能的演变轨迹，从而深入剖析训练策略与模型能力之间的内在关联。

实际应用

在实际应用层面，该数据集为模型选型与部署决策提供了量化支撑。开发者可依据数据集中的细粒度结果，精准判断openchat_3.5在特定领域（如医学知识、法律推理或数学问题求解）的适用性，从而在智能客服、教育辅导或专业咨询等场景中做出科学取舍。此外，数据集的多轮评测记录可作为持续集成流程的关键组件，用于监控模型更新后的性能波动，确保生产环境中模型行为的稳定可靠。

衍生相关工作

基于该数据集的评测框架，衍生出多项具有深远影响的工作。例如，研究者利用其细粒度结果分析了模型在MMLU子任务上的知识覆盖度，推动了面向特定学科的知识增强训练方法。另有工作借助数据集中HellaSwag与Winogrande的得分，探讨了模型在常识推理与指代消解上的能力边界，进而催生了针对性的对抗训练策略。此外，该数据集作为Open LLM Leaderboard的基础数据源，支撑了多篇关于模型综合能力排行的元分析研究，为LLM评估体系的标准化演进奠定了基石。