open-llm-leaderboard-old/details_Qwen__Qwen1.5-72B

该数据集是在评估模型Qwen/Qwen1.5-72B时自动创建的，用于Open LLM Leaderboard。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行创建，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在模型 Qwen/Qwen1.5-72B 在 Open LLM Leaderboard 上的评估运行期间自动创建的。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 创建来源：从1次运行中创建。每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 结果汇总：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Qwen__Qwen1.5-72B", "harness_winogrande_5", split="train")

最新结果

以下是 2024-02-18T21:24:58.616285 运行的最新结果：

python { "all": { "acc": 0.7669743429877653, "acc_stderr": 0.027971495069922473, "acc_norm": 0.7715834368806984, "acc_norm_stderr": 0.028493498109494097, "mc1": 0.412484700122399, "mc1_stderr": 0.017233299399571227, "mc2": 0.596080564321232, "mc2_stderr": 0.01451800985281567 }, "harness|arc:challenge|25": { "acc": 0.6262798634812287, "acc_stderr": 0.014137708601759095, "acc_norm": 0.658703071672355, "acc_norm_stderr": 0.01385583128749773 }, "harness|hellaswag|10": { "acc": 0.6666998605855408, "acc_stderr": 0.004704293898729911, "acc_norm": 0.8598884684325832, "acc_norm_stderr": 0.003463933286063887 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.43, "acc_stderr": 0.049756985195624284, "acc_norm": 0.43, "acc_norm_stderr": 0.049756985195624284 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.7185185185185186, "acc_stderr": 0.038850042458002526, "acc_norm": 0.7185185185185186, "acc_norm_stderr": 0.038850042458002526 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.8881578947368421, "acc_stderr": 0.02564834125169361, "acc_norm": 0.8881578947368421, "acc_norm_stderr": 0.02564834125169361 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.8, "acc_stderr": 0.04020151261036845, "acc_norm": 0.8, "acc_norm_stderr": 0.04020151261036845 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.8226415094339623, "acc_stderr": 0.023508739218846938, "acc_norm": 0.8226415094339623, "acc_norm_stderr": 0.023508739218846938 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.9027777777777778, "acc_stderr": 0.024774516250440175, "acc_norm": 0.9027777777777778, "acc_norm_stderr": 0.024774516250440175 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.52, "acc_stderr": 0.050211673156867795, "acc_norm": 0.52, "acc_norm_stderr": 0.050211673156867795 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.64, "acc_stderr": 0.048241815132442176, "acc_norm": 0.64, "acc_norm_stderr": 0.048241815132442176 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.54, "acc_stderr": 0.05009082659620332, "acc_norm": 0.54, "acc_norm_stderr": 0.05009082659620332 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.7630057803468208, "acc_stderr": 0.032424147574830975, "acc_norm": 0.7630057803468208, "acc_norm_stderr": 0.032424147574830975 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.5490196078431373, "acc_stderr": 0.049512182523962604, "acc_norm": 0.5490196078431373, "acc_norm_stderr": 0.049512182523962604 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.84, "acc_stderr": 0.03684529491774709, "acc_norm": 0.84, "acc_norm_stderr": 0.03684529491774709 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.8085106382978723, "acc_stderr": 0.025722149992637798, "acc_norm": 0.8085106382978723, "acc_norm_stderr": 0.025722149992637798 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.5877192982456141, "acc_stderr": 0.046306532033665956, "acc_norm": 0.5877192982456141, "acc_norm_stderr": 0.046306532033665956 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.7862068965517242, "acc_stderr": 0.03416520447747549, "acc_norm": 0.7862068965517242, "acc_norm_stderr": 0.03416520447747549 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.6984126984126984, "acc_stderr": 0.0236369759961018, "acc_norm": 0.6984126984126984, "acc_norm_stderr": 0.0236369759961018 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.5793650793650794, "acc_stderr": 0.04415438226743745, "acc_norm": 0.5793650793650794, "acc_norm_stderr": 0.04415438226743745 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.51, "acc_stderr": 0.05024183937956911, "acc_norm": 0.51, "acc_norm_stderr": 0.05024183937956911 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.8838709677419355, "acc_stderr": 0.018225757949432306, "acc_norm": 0.8838709677419355, "acc_norm_stderr": 0.018225757949432306 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.6600985221674877, "acc_stderr": 0.033327690684107895, "acc_norm": 0.6600985221674877, "acc_norm_stderr": 0.033327690684107895 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.84, "acc_stderr": 0.03684529491774707, "acc_norm": 0.84, "acc_norm_stderr": 0.03684529491774707 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.8545454545454545, "acc_stderr": 0.027530196355066573, "acc_norm": 0.8545454545454545, "acc_norm_stderr": 0.027530196355066573 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.9292929292929293, "acc_stderr": 0.0182631054201995, "acc_norm": 0.9292929292929293, "acc_norm_stderr": 0.0182631054201995 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9896373056994818, "acc_stderr": 0.007308424386792194, "acc_norm": 0.9896373056994818, "acc_norm_stderr": 0.007308424386792194 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.8153846153846154, "acc_stderr": 0.01967163241310029, "acc_norm": 0.8153846153846154, "acc_norm_stderr": 0.01967163241310029 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.4925925925925926, "acc_stderr": 0.030482192395191506, "acc_norm": 0.4925925925925926, "acc_

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard框架下，对Qwen/Qwen1.5-72B模型进行自动化评估的过程中生成的。数据集共包含63个配置，每个配置对应一项评估任务。评估过程执行了一次运行，每次运行的结果被存储为一个独立的分割，分割名称采用运行时间戳进行标识。此外，数据集还包含一个名为“results”的额外配置，用于汇总和存储所有评估任务的聚合结果，这些结果被用于计算和展示Open LLM Leaderboard上的综合指标。最新结果对应的时间戳为2024-02-18T21:24:58.616285。

使用方法

使用该数据集时，用户可通过HuggingFace的datasets库进行加载。具体而言，需调用load_dataset函数，并指定数据集名称、目标配置名称（如harness_winogrande_5）以及分割名称（如“train”）。例如，`data = load_dataset("open-llm-leaderboard/details_Qwen__Qwen1.5-72B", "harness_winogrande_5", split="train")`。用户还可以通过选择不同的时间戳分割来访问历史评估数据，或使用“results”配置获取所有任务的聚合指标。对于希望深入分析模型性能的研究者，该数据集提供了灵活且便捷的访问接口。

背景与挑战

背景概述

随着大语言模型（LLM）的飞速演进，如何系统性地评估其多维度能力成为学术界与工业界共同关注的焦点。在此背景下，Hugging Face团队于2023年发起了Open LLM Leaderboard项目，旨在构建一个公开、可复现的模型评测基准。该数据集正是围绕阿里云Qwen团队于2024年初发布的Qwen1.5-72B模型在Leaderboard上的评估记录而创建，由Clementine Fourrier等研究人员主导维护。核心研究问题在于：通过涵盖常识推理（如HellaSwag）、数学解题（GSM8K）、多学科知识（MMLU）及对抗性问答（TruthfulQA）等63个任务配置，全面衡量Qwen1.5-72B在零样本场景下的泛化能力与鲁棒性。该数据集不仅为Qwen1.5-72B提供了透明化的性能档案，更通过标准化评估流程推动了LLM评测生态的规范化，成为后续模型横向对比的重要参照。

当前挑战

该数据集所应对的领域挑战在于LLM评估的碎片化与不可复现性。传统上，不同模型采用各异评测集与指标，导致结果难以直接比较；Open LLM Leaderboard通过统一的任务集合与自动化流水线，解决了跨模型性能对比的公平性问题。在构建过程中，团队面临多重技术挑战：一是任务配置的多样性管理，需为63个子任务分别定义数据格式与评估逻辑，确保parquet文件与元数据的一致性；二是时间戳分片机制的设计，需支持多次评估结果的增量存储与最新结果的动态指向，同时保持历史版本的可追溯性；三是大规模结果数据的标准化聚合，需从各任务原始输出中提取acc、acc_norm、mc1等统计量，并整合为统一JSON结构，以支撑Leaderboard的实时展示与长期分析。

常用场景

经典使用场景

在大型语言模型（LLM）评估领域，open-llm-leaderboard-old/details_Qwen__Qwen1.5-72B 数据集经典的使用场景是作为模型性能评测的标准化基准。该数据集由 Open LLM Leaderboard 自动生成，涵盖 63 个评测任务配置，每个配置对应一项具体任务，如 ARC-Challenge、HellaSwag、GSM8K 等。研究者可通过加载不同配置下的细粒度评测结果，深入分析 Qwen1.5-72B 模型在常识推理、数学求解、知识问答等多维能力上的表现，从而实现对模型强项与短板的精准刻画。

解决学术问题

该数据集有效解决了大语言模型评测中结果碎片化与难以复现的学术难题。它将模型在多项基准测试上的原始得分与统计误差统一存储，并支持按时间戳追溯不同运行批次的结果，为模型能力的纵向对比提供了可靠依据。通过聚合如 ARC（准确率 0.626）、HellaSwag（归一化准确率 0.860）等指标，研究者得以系统性地评估模型在零样本与少样本场景下的泛化能力，促进了评测流程的标准化与透明化。

实际应用

实际应用中，该数据集为模型选型与部署提供了量化支撑。开发团队可依据其记录的详细评测结果（如 GSM8K 数学推理准确率 0.657），快速判断 Qwen1.5-72B 在特定业务场景——如智能客服的数学问题解答、教育领域的知识问答——中的适用性。此外，数据集的结构化格式便于集成至自动化评测流水线，助力企业高效筛选最优模型，降低人工评估成本。

数据集最近研究

最新研究方向

在大型语言模型（LLM）能力评估的前沿探索中，Open LLM Leaderboard 已成为衡量模型性能的权威基准平台。针对 Qwen1.5-72B 这一拥有720亿参数的强大模型，其评估数据集（open-llm-leaderboard-old/details_Qwen__Qwen1.5-72B）的构建与发布，标志着对超大规模模型进行细粒度、多维度评测的成熟实践。该数据集通过整合63个涵盖常识推理（如ARC、HellaSwag）、数学求解（GSM8K）、知识问答（MMLU）及事实一致性（TruthfulQA）等核心任务的配置，系统性地揭示了模型在复杂推理与跨领域知识掌握上的能力边界。研究热点聚焦于利用此类标准化评测框架，追踪模型在动态更新中的性能演变，例如该数据集记录了2024年2月18日运行的详尽结果，其中模型在HellaSwag任务上展现了85.99%的归一化准确率，而在MMLU的高中数学子集上则面临挑战。这一评估体系不仅为模型迭代提供了量化反馈，更推动了LLM在学术研究与应用部署中的透明化与可复现性，其影响深远，正成为全球AI社区验证模型能力、驱动技术革新的关键基础设施。