open-llm-leaderboard-old/details_01-ai__Yi-1.5-9B

该数据集是在模型01-ai/Yi-1.5-9B在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个被评估的任务。数据集是从一次运行中创建的，每次运行在每个配置中作为一个特定的分割表示，分割名称使用运行的时间戳。train分割始终指向最新的结果。一个名为results的额外配置存储了运行的所有聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个示例，展示了如何使用`datasets`库中的`load_dataset`函数加载运行中的详细信息。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 01-ai/Yi-1.5-9B 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 运行次数：数据集从1次运行中创建。每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 分割：每个配置中的 "train" 分割始终指向最新的结果。
• 结果配置：一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_01-ai__Yi-1.5-9B", "harness_winogrande_5", split="train")

最新结果

以下是 2024-05-16T10:35:34.857914 运行的最新结果：

python { "all": { "acc": 0.7035874018634588, "acc_stderr": 0.030924920121816597, "acc_norm": 0.7074745962890253, "acc_norm_stderr": 0.03153122173604219, "mc1": 0.31946144430844553, "mc1_stderr": 0.0163226441829605, "mc2": 0.4674286312358864, "mc2_stderr": 0.014935638457282385 }, "harness|arc:challenge|25": { "acc": 0.5853242320819113, "acc_stderr": 0.01439707056440917, "acc_norm": 0.6186006825938567, "acc_norm_stderr": 0.014194389086685254 }, "harness|hellaswag|10": { "acc": 0.6080462059350727, "acc_stderr": 0.004871887422893581, "acc_norm": 0.8037243576976698, "acc_norm_stderr": 0.0039636772611612355 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.44, "acc_stderr": 0.0498887651569859, "acc_norm": 0.44, "acc_norm_stderr": 0.0498887651569859 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.6666666666666666, "acc_stderr": 0.04072314811876837, "acc_norm": 0.6666666666666666, "acc_norm_stderr": 0.04072314811876837 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.756578947368421, "acc_stderr": 0.034923496688842384, "acc_norm": 0.756578947368421, "acc_norm_stderr": 0.034923496688842384 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.78, "acc_stderr": 0.04163331998932261, "acc_norm": 0.78, "acc_norm_stderr": 0.04163331998932261 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6830188679245283, "acc_stderr": 0.028637235639800893, "acc_norm": 0.6830188679245283, "acc_norm_stderr": 0.028637235639800893 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7916666666666666, "acc_stderr": 0.03396116205845335, "acc_norm": 0.7916666666666666, "acc_norm_stderr": 0.03396116205845335 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.53, "acc_stderr": 0.05016135580465919, "acc_norm": 0.53, "acc_norm_stderr": 0.05016135580465919 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.58, "acc_stderr": 0.049604496374885836, "acc_norm": 0.58, "acc_norm_stderr": 0.049604496374885836 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.53, "acc_stderr": 0.05016135580465919, "acc_norm": 0.53, "acc_norm_stderr": 0.05016135580465919 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.6994219653179191, "acc_stderr": 0.0349610148119118, "acc_norm": 0.6994219653179191, "acc_norm_stderr": 0.0349610148119118 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.47058823529411764, "acc_stderr": 0.049665709039785295, "acc_norm": 0.47058823529411764, "acc_norm_stderr": 0.049665709039785295 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.85, "acc_stderr": 0.03588702812826369, "acc_norm": 0.85, "acc_norm_stderr": 0.03588702812826369 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.7361702127659574, "acc_stderr": 0.028809989854102973, "acc_norm": 0.7361702127659574, "acc_norm_stderr": 0.028809989854102973 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.631578947368421, "acc_stderr": 0.04537815354939392, "acc_norm": 0.631578947368421, "acc_norm_stderr": 0.04537815354939392 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.6896551724137931, "acc_stderr": 0.03855289616378949, "acc_norm": 0.6896551724137931, "acc_norm_stderr": 0.03855289616378949 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.6322751322751323, "acc_stderr": 0.024833839825562424, "acc_norm": 0.6322751322751323, "acc_norm_stderr": 0.024833839825562424 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.5317460317460317, "acc_stderr": 0.04463112720677172, "acc_norm": 0.5317460317460317, "acc_norm_stderr": 0.04463112720677172 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.4, "acc_stderr": 0.04923659639173309, "acc_norm": 0.4, "acc_norm_stderr": 0.04923659639173309 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.8451612903225807, "acc_stderr": 0.020579287326583227, "acc_norm": 0.8451612903225807, "acc_norm_stderr": 0.020579287326583227 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.6354679802955665, "acc_stderr": 0.033864057460620905, "acc_norm": 0.6354679802955665, "acc_norm_stderr": 0.033864057460620905 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.83, "acc_stderr": 0.0377525168068637, "acc_norm": 0.83, "acc_norm_stderr": 0.0377525168068637 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.8303030303030303, "acc_stderr": 0.02931118867498311, "acc_norm": 0.8303030303030303, "acc_norm_stderr": 0.02931118867498311 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.8484848484848485, "acc_stderr": 0.02554565042660362, "acc_norm": 0.8484848484848485, "acc_norm_stderr": 0.02554565042660362 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.9015544041450777, "acc_stderr": 0.021500249576033463, "acc_norm": 0.9015544041450777, "acc_norm_stderr": 0.021500249576033463 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.7538461538461538, "acc_stderr": 0.021840866990423077, "acc_norm": 0.7538461538461538, "acc_norm_stderr": 0.021840866990423077 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.43703703703703706, "acc_stderr": 0.030242862397654, "acc_norm": 0.43703703703703706,

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，该数据集是专为追踪模型[01-ai/Yi-1.5-9B](https://huggingface.co/01-ai/Yi-1.5-9B)在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的表现而自动生成的。其构建过程基于一次独立的评估运行，将该运行的时间戳作为数据划分的唯一标识，共计涵盖63个配置，每个配置对应一项具体的评估任务。数据集的“train”划分始终指向最新的评估结果，而名为“results”的额外配置则汇总了所有任务的聚合指标，用于在排行榜上计算并展示综合性能。这种设计确保了评估历史可追溯，同时便于用户快速获取最新进展。

特点

该数据集的核心特点在于其精细化的任务划分与动态更新机制。它涵盖了从常识推理（如ARC挑战赛、HellaSwag）到数学问题求解（如GSM8K）的多样化评测场景，并包含MMLU基准下的广泛学科知识测试，例如生物学、物理学、法学等。每个任务的评估结果均以标准化指标（如准确率及其标准误）呈现，记录详尽。此外，数据集通过时间戳分割保存每次运行的原始细节，而“latest”分割则自动指向最新数据，实现了历史版本与最新结果的并行管理，为模型性能的纵向对比分析提供了坚实的数据基础。

使用方法

使用该数据集时，研究人员可通过Hugging Face的`datasets`库便捷加载。例如，调用`load_dataset("open-llm-leaderboard/details_01-ai__Yi-1.5-9B", "harness_winogrande_5", split="train")`即可获取指定任务的评估细节。每个配置对应一项任务，其数据文件以Parquet格式存储，用户可根据需要选择特定时间戳的分割或直接使用“latest”分割。对于需要分析整体性能的场景，“results”配置提供了所有任务的聚合结果，便于快速生成模型评估报告。这种模块化的加载方式极大地简化了模型评测数据的复现与深入分析流程。

背景与挑战

背景概述

大型语言模型（LLM）的性能评估是自然语言处理领域的关键环节，其标准化与透明化对推动模型发展至关重要。在此背景下，Hugging Face团队于2024年发起了Open LLM Leaderboard项目，旨在通过统一的评测框架，对开源大模型进行多维度、可复现的能力评估。该数据集正是针对零一万物（01.AI）发布的Yi-1.5-9B模型的一次完整评测记录，由Hugging Face团队于2024年5月16日创建。核心研究问题在于系统性地衡量Yi-1.5-9B在常识推理、数学求解、知识问答及语言理解等63项细分任务上的表现，从而为社区提供该模型在公开评测体系中的客观定位。该数据集的发布，不仅为Yi-1.5-9B的性能提供了可追溯的量化证据，也进一步丰富了Open LLM Leaderboard的评测生态，推动了开源大模型评估的标准化进程。

当前挑战

该数据集所应对的核心挑战在于大型语言模型评估的碎片化与不可复现性。具体而言，首先，不同模型常采用各异的评测基准与提示方式，导致性能结果难以横向比较，而Open LLM Leaderboard通过固定评测任务（如ARC-Challenge、HellaSwag、MMLU、GSM8K等）与统一采样方式（如few-shot设置），解决了这一领域内普遍存在的基准不统一问题。其次，在数据集构建过程中，面临的技术挑战包括：如何为每个评测任务生成标准化配置（共63个配置），并确保每轮运行的评测结果能够被精确追踪与版本管理。该数据集通过为每次运行创建独立的时间戳分割，并维护一个指向最新结果的“train”分割，实现了评测历史与当前状态的清晰分离。此外，所有结果被汇总至“results”配置，用于计算聚合指标并展示于排行榜，这一设计在数据一致性与展示效率之间取得了平衡，有效支撑了大规模、持续性的模型评测工作。

常用场景

经典使用场景

在大型语言模型飞速演进的当下，对模型性能进行系统化、标准化的评估成为研究基石。该数据集专为评估01-ai/Yi-1.5-9B模型在Open LLM Leaderboard上的表现而构建，涵盖63个任务配置，包括ARC-Challenge、HellaSwag、GSM8K、Winogrande、TruthfulQA以及涵盖57个学科的MMLU等经典基准。研究者可通过加载特定任务的分片数据，深入分析模型在常识推理、数学求解、知识理解及事实一致性等方面的细粒度表现，为模型能力刻画提供精准的量化依据。

衍生相关工作

该数据集衍生了一系列围绕模型评估与改进的经典工作。基于其提供的标准化评估流程，研究者得以开展跨模型对比分析，揭示不同架构与训练策略的优势。同时，数据集中各任务的失败案例为后续研究提供了线索，催生了针对数学推理、事实一致性等方向的专项优化方法。此外，该数据集还促进了评估基准的扩展，如将MMLU的细分学科结果用于训练领域增强模型，或利用Winogrande与TruthfulQA的结果改进模型的常识与诚实性，形成从评估到优化的良性循环。

数据集最近研究

最新研究方向

在大型语言模型（LLM）性能评估领域，Open LLM Leaderboard已成为衡量模型综合能力的权威基准。围绕01-ai/Yi-1.5-9B模型构建的评估数据集，记录了其在63项任务上的细粒度表现，涵盖ARC挑战赛、HellaSwag常识推理、GSM8K数学问题求解以及涵盖57个学科的MMLU测试。前沿研究方向聚焦于通过多维度、高精度的评测体系揭示模型在推理、知识储备与语言生成上的真实水平。该数据集的出现呼应了当前LLM竞赛中“能力可复现性”与“评估透明度”的热点诉求，为研究者提供了标准化对比框架，推动了模型改进方向的精准定位，对构建更可靠、更公平的模型评价生态具有深远意义。