open-llm-leaderboard-old/details_aisquared__dlite-v1-774m

该数据集是在模型aisquared/dlite-v1-774m的评估运行过程中自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集是从2次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，并用于计算和显示在Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

该数据集是在评估模型 aisquared/dlite-v1-774m 在 Open LLM Leaderboard 上的运行过程中自动创建的。

数据集组成

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 2 次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_aisquared__dlite-v1-774m", "harness_winogrande_5", split="train")

最新结果

以下是 2023-10-18T09:49:41.867604 运行的最新结果： python { "all": { "em": 0.011220637583892617, "em_stderr": 0.0010786936337733937, "f1": 0.06615142617449662, "f1_stderr": 0.001688981547339462, "acc": 0.27308602999210735, "acc_stderr": 0.006996220781853532 }, "harness|drop|3": { "em": 0.011220637583892617, "em_stderr": 0.0010786936337733937, "f1": 0.06615142617449662, "f1_stderr": 0.001688981547339462 }, "harness|gsm8k|5": { "acc": 0.0, "acc_stderr": 0.0 }, "harness|winogrande|5": { "acc": 0.5461720599842147, "acc_stderr": 0.013992441563707063 } }

配置详情

配置列表

• harness_arc_challenge_25
• harness_drop_3
• harness_gsm8k_5
• harness_hellaswag_10
• harness_hendrycksTest_5
• harness_hendrycksTest_abstract_algebra_5
• harness_hendrycksTest_anatomy_5
• harness_hendrycksTest_astronomy_5
• harness_hendrycksTest_business_ethics_5
• harness_hendrycksTest_clinical_knowledge_5
• harness_hendrycksTest_college_biology_5
• harness_hendrycksTest_college_chemistry_5
• harness_hendrycksTest_college_computer_science_5
• harness_hendrycksTest_college_mathematics_5
• harness_hendrycksTest_college_medicine_5
• harness_hendrycksTest_college_physics_5
• harness_hendrycksTest_computer_security_5
• harness_hendrycksTest_conceptual_physics_5
• harness_hendrycksTest_econometrics_5
• harness_hendrycksTest_electrical_engineering_5
• harness_hendrycksTest_elementary_mathematics_5

数据文件路径

每个配置包含不同的时间戳分割和最新的分割路径。例如：

• harness_arc_challenge_25 配置包含以下数据文件路径：
  • 2023_07_19T14_26_45.959233 分割路径：**/details_harness|arc:challenge|25_2023-07-19T14:26:45.959233.parquet
  • latest 分割路径：**/details_harness|arc:challenge|25_2023-07-19T14:26:45.959233.parquet

其他配置

• harness_hendrycksTest_5 配置包含多个子任务的数据文件路径，如 abstract_algebra, anatomy, astronomy 等。

搜集汇总

数据集介绍

构建方式

在大型语言模型评测领域，Open LLM Leaderboard 提供了一个标准化的评估框架。该数据集是模型 aisquared/dlite-v1-774m 在 Open LLM Leaderboard 上评估运行过程中自动生成的产物。数据集由 64 个配置组成，每个配置对应一个被评估的任务。构建过程基于两次独立的运行，每次运行的结果被存储为特定配置下的一个独立分割（split），分割名称以该运行的时间戳命名。此外，一个名为 "results" 的额外配置存储了所有运行的聚合结果，用于计算和展示排行榜上的综合指标。

特点

该数据集的核心特点在于其精细化的任务划分与时间戳追踪机制。64 个配置覆盖了从常识推理到学科知识的广泛评测任务，如 ARC-Challenge、GSM8K、Winogrande 等。每个配置下包含多个时间戳分割，使得研究者能够回溯不同时间点的模型表现。"latest" 分割始终指向最新运行的评测结果，便于快速获取当前性能。同时，"results" 配置提供了聚合后的宏观指标，包括准确率、F1 分数等统计量及其标准误差，为模型对比提供了可靠依据。

使用方法

使用该数据集时，可通过 Hugging Face 的 datasets 库进行加载。首先指定数据集名称，然后选择目标配置（如 "harness_winogrande_5"）和所需分割（如 "train" 即最新结果）。例如，执行 `load_dataset("open-llm-leaderboard/details_aisquared__dlite-v1-774m", "harness_winogrande_5", split="train")` 即可获取 Winogrande 任务的最新评测细节。若需访问历史运行数据，可指定具体时间戳分割。此外，通过读取 "results" 配置，可获取所有任务的聚合结果，便于整体性能分析。

背景与挑战

背景概述

大语言模型（LLM）的迅猛发展催生了对其能力进行系统化评估的迫切需求，Open LLM Leaderboard应运而生，成为衡量模型在多样化自然语言理解与生成任务上性能的权威基准。该数据集由HuggingFace团队于2023年创建，核心联络人Clémentine Fourrier主导其设计，旨在为社区提供透明、可复现的模型评估结果。数据集围绕aisquared/dlite-v1-774m这一774M参数规模的模型展开，记录了其在ARC挑战、HellaSwag、MMLU、GSM8K及Winogrande等多项任务上的表现，覆盖从常识推理到数学解题的广泛能力维度。通过自动化的评估流水线，该数据集不仅降低了人工评测的成本，更推动了LLM性能比较的标准化进程，对后续模型开发与选择产生了深远影响。

当前挑战

该数据集所解决的领域问题在于为LLM提供多任务、多维度的一致性评估框架，克服了传统单一指标或人工评测的局限性。在构建过程中，团队面临多重挑战：其一，评估任务涵盖ARC、HellaSwag等数十个异构数据集，需统一格式与评分逻辑，确保不同任务间的可比性；其二，模型版本迭代频繁，需设计时间戳分片机制以追踪每次运行的细微变化，如2023年7月与10月的两次评测结果分别存储；其三，数据存储采用Parquet格式与复杂的分支结构，对用户加载与解析能力提出要求，需提供清晰的API接口以降低使用门槛。这些挑战的应对，使得该数据集成为LLM评估领域的重要基础设施。

常用场景

经典使用场景

该数据集作为Open LLM Leaderboard评估流程的副产品，核心用途在于对特定模型（如aisquared/dlite-v1-774m）进行多维度性能基准测试。它涵盖了ARC挑战赛、DROP、GSM8K、HellaSwag、MMLU及WinoGrande等经典自然语言理解与推理任务，研究者可通过加载各任务配置下的详细评估结果，深入剖析模型在常识推理、数学解题、常识问答及文本蕴含等场景中的表现，从而系统性地比较不同模型架构与训练策略的优劣。

衍生相关工作

该数据集衍生了一系列关于模型评估与改进的经典研究。例如，它催生了针对特定任务（如DROP的F1得分6.6%）的细粒度错误分析工作，进而推动了对模型阅读理解能力的针对性增强。此外，基于该数据集的评估结果，研究者提出了多任务联合训练策略，旨在平衡不同能力维度的表现。这些工作共同构建了从评估到优化的闭环，深化了对大规模语言模型能力边界的认知。

数据集最近研究

最新研究方向

在大型语言模型（LLM）评估领域，Open LLM Leaderboard 已成为衡量模型性能的标杆平台。针对 aisquared/dlite-v1-774m 这一紧凑型模型的评估数据集，前沿研究方向聚焦于模型在多样化任务上的泛化能力与鲁棒性。该数据集通过 64 个配置覆盖了 ARC、HellaSwag、MMLU 等广泛基准，尤其关注模型在数学推理（如 GSM8K 上准确率为 0）和常识理解（如 Winogrande 上准确率约 54.6%）等关键维度的表现。近期热点事件包括对轻量级模型在资源受限场景下的实用性探讨，以及通过细粒度错误分析揭示模型在知识密集型任务中的局限性。这一评估体系不仅推动了高效模型架构的优化，也为社区提供了透明、可复现的性能对比标准，对促进开放科学和模型民主化具有深远意义。