open-llm-leaderboard/details_Undi95__Amethyst-13B

该数据集是在模型Undi95/Amethyst-13B的评估运行期间自动创建的，用于Open LLM Leaderboard的评估。数据集由64个配置组成，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

This dataset was automatically generated during the evaluation runs of the model Undi95/Amethyst-13B, and is designed for evaluations on the Open LLM Leaderboard. The dataset comprises 64 configurations, each corresponding to a single evaluation task. It is generated from two separate runs, with the results of each run acting as a dataset split under its respective configuration, where the split name uses the timestamp of the corresponding run. The "train" split always points to the most recent results. Additionally, there is a configuration named "results" that stores the aggregated results across all runs, which is used to calculate and display the aggregate metrics on the Open LLM Leaderboard.

原始信息汇总

数据集概述

数据集来源

该数据集是在对模型 Undi95/Amethyst-13B 进行评估运行时自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 配置数量：64个配置，每个配置对应一个评估任务。
• 创建来源：数据集从2次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Undi95__Amethyst-13B", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-25T11:51:19.859333 运行 的最新结果： python { "all": { "em": 0.11891778523489933, "em_stderr": 0.003314906435546502, "f1": 0.18699769295301977, "f1_stderr": 0.0034428005809407332, "acc": 0.42792517590937623, "acc_stderr": 0.010387500478010799 }, "harness|drop|3": { "em": 0.11891778523489933, "em_stderr": 0.003314906435546502, "f1": 0.18699769295301977, "f1_stderr": 0.0034428005809407332 }, "harness|gsm8k|5": { "acc": 0.10841546626231995, "acc_stderr": 0.008563852506627492 }, "harness|winogrande|5": { "acc": 0.7474348855564326, "acc_stderr": 0.012211148449394105 } }

配置详情

• harness_arc_challenge_25

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|arc:challenge|25_2023-10-03T17-37-36.187420.parquet

• harness_drop_3

  • 分割：2023_10_25T11_51_19.859333, latest
  • 路径：**/details_harness|drop|3_2023-10-25T11-51-19.859333.parquet

• harness_gsm8k_5

  • 分割：2023_10_25T11_51_19.859333, latest
  • 路径：**/details_harness|gsm8k|5_2023-10-25T11-51-19.859333.parquet

• harness_hellaswag_10

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hellaswag|10_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：多个路径，例如 **/details_harness|hendrycksTest-abstract_algebra|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_abstract_algebra_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_anatomy_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-anatomy|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_astronomy_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-astronomy|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_business_ethics_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-business_ethics|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_clinical_knowledge_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-clinical_knowledge|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_college_biology_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-college_biology|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_college_chemistry_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-college_chemistry|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_college_computer_science_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-college_computer_science|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_college_mathematics_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-college_mathematics|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_college_medicine_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-college_medicine|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_college_physics_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-college_physics|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_computer_security_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-computer_security|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_conceptual_physics_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-conceptual_physics|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_econometrics_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-econometrics|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_electrical_engineering_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-electrical_engineering|5_2023-10-03T17-37-36.187420.parquet

• harness_hendrycksTest_elementary_mathematics_5

  • 分割：2023_10_03T17_37_36.187420, latest
  • 路径：**/details_harness|hendrycksTest-elementary_mathematics|5_2023-10-03T17-37-36.187420.parquet

以上是数据集的详细概述，包括数据集的来源、结构、加载示例、最新结果以及各个配置的详细信息。

搜集汇总

数据集介绍

构建方式

在大规模语言模型评估领域，该数据集是专为追踪模型Undi95/Amethyst-13B在Open LLM Leaderboard上的表现而自动生成的。其构建过程依托于HuggingFace的评估框架，通过两次独立的运行周期，将模型在64个不同任务上的评估结果以Parquet格式存储。每个任务对应一个独立的配置（config），而每次运行的时间戳则被用作数据分割（split）的标识，其中'train'分割始终指向最新一次运行的结果。此外，一个名为'results'的配置专门用于汇集所有聚合指标，为排行榜的最终展示提供数据支撑。

特点

该数据集的一大特色在于其精细化的任务划分与版本管理能力。它涵盖了从常识推理（如ARC挑战赛、HellaSwag）到数学推理（如GSM8K）、知识问答（如MMLU的57个子领域）以及阅读理解（如DROP）等多样化的评估维度。每个任务的评估结果都保留了详细的准确率（acc）、精确匹配率（em）及其标准误差，便于研究者进行深入分析。更重要的是，通过时间戳分割的设计，用户可以轻松回溯模型在不同时间点的表现，形成对模型性能演变的动态观察。

使用方法

研究者可通过HuggingFace的datasets库便捷地加载该数据集，以获取特定任务的评估细节。例如，使用`load_dataset("open-llm-leaderboard/details_Undi95__Amethyst-13B", "harness_winogrande_5", split="train")`即可加载Winogrande任务的最新评估数据。若需访问历史版本，只需将split参数替换为对应的时间戳字符串（如'2023_10_25T11_51_19.859333'）。此外，通过加载'results'配置，可以一键获取所有任务的聚合指标，从而快速评估模型的综合能力。

背景与挑战

背景概述

在大型语言模型（LLM）蓬勃发展的时代，如何系统性地评估其多样化能力成为核心议题。Open LLM Leaderboard由Hugging Face团队于2023年创建，旨在为社区提供标准化、可复现的模型评测平台。该数据集记录了模型Undi95/Amethyst-13B在Leaderboard上的评估细节，涵盖ARC挑战、DROP、GSM8K、HellaSwag及MMLU等涵盖推理、数学、常识与多学科知识的任务。通过自动采集多次运行结果并汇总至“results”配置，该数据集为比较不同LLM的性能提供了透明基准，对推动模型透明化评估与社区协作具有重要影响力。

当前挑战

该数据集所解决的领域问题在于LLM评估的碎片化与不可复现性，传统人工评测或单一指标难以覆盖模型在推理、数学、常识等维度的真实表现，而Open LLM Leaderboard通过多任务统一框架试图弥合这一鸿沟。构建过程中面临的挑战包括：确保各任务（如DROP的精确匹配与F1分数、GSM8K的准确率）评估标准的一致性，处理多次运行间结果波动带来的统计可靠性问题，以及管理海量配置（如64个任务配置）与时间戳分片的数据组织复杂性，避免数据冗余与版本混乱。

常用场景

经典使用场景

在开放大语言模型评估领域，该数据集作为Open LLM Leaderboard的标准化评测记录，承载了Undi95/Amethyst-13B模型在多项经典基准任务上的细粒度表现。其核心用途在于通过64个独立配置，分别对应ARC挑战、DROP、GSM8K、WinoGrande、HellaSwag及涵盖57个学科的MMLU测试等任务，为研究者提供模型在推理、常识理解、数学求解和知识掌握等维度的详尽性能剖面。借助分时间戳的多次运行记录，可追踪模型能力的演进轨迹，并支持按任务加载特定评估细节，从而构建起模型能力横向对比与纵向分析的坚实数据基础。

实际应用

在实际产业应用中，该数据集为模型选型与部署决策提供了可靠依据。企业可依据数据集中的细粒度任务得分，判断Amethyst-13B在客服对话、教育辅导或知识问答等场景中的适配程度。例如，其在WinoGrande任务上表现出的较高常识推理能力，暗示该模型适合处理需要理解隐含语义的自然语言交互场景。同时，GSM8K任务的低分则警示其在数学计算密集型应用中的局限性。此外，数据集的多任务评估框架可直接迁移至内部模型测试管线，帮助团队快速构建定制化的模型能力图谱，从而在资源受限的部署环境中做出更明智的权衡。

衍生相关工作

该数据集作为Open LLM Leaderboard生态的核心组件，直接催生了一系列关于模型评估标准化与能力解构的研究工作。其结构化评估范式启发了后续如LM Evaluation Harness等工具库的完善，使多任务批量评测成为社区惯例。基于此数据集，研究者得以开展模型能力与训练数据分布的相关性分析，例如探讨预训练语料中数学文本比例对GSM8K得分的影响。此外，数据集的多次运行记录为评估稳定性研究提供了实证素材，促使学界关注单次评估的统计波动问题，进而推动置信区间与误差棒在模型报告中的普及。这些衍生工作共同构建了现代大语言模型评估的方法论基石。