open-llm-leaderboard-old/details_OEvortex__vortex-3b

该数据集是在评估模型OEvortex/vortex-3b时自动创建的，评估在Open LLM Leaderboard上进行。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行可以在每个配置的特定分割中找到，分割以运行的时间戳命名。train分割始终指向最新结果。此外，results配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在对模型 OEvortex/vortex-3b 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集组成

• 数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每个运行可以在每个配置中作为一个特定的分割找到，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_OEvortex__vortex-3b", "harness_winogrande_5", split="train")

最新结果

以下是 2024-03-09T20:57:20.886463 运行的最新结果：

python { "all": { "acc": 0.27710891940955856, "acc_stderr": 0.03153668377872444, "acc_norm": 0.27903126889601115, "acc_norm_stderr": 0.03233434313923451, "mc1": 0.22643818849449204, "mc1_stderr": 0.014651337324602576, "mc2": 0.37387212007515463, "mc2_stderr": 0.013976985373306746 }, "harness|arc:challenge|25": { "acc": 0.2901023890784983, "acc_stderr": 0.013261573677520774, "acc_norm": 0.3191126279863481, "acc_norm_stderr": 0.013621696119173304 }, "harness|hellaswag|10": { "acc": 0.4282015534754033, "acc_stderr": 0.004938068627349492, "acc_norm": 0.5689105755825533, "acc_norm_stderr": 0.004942164585991472 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.22, "acc_stderr": 0.0416333199893227, "acc_norm": 0.22, "acc_norm_stderr": 0.0416333199893227 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.2962962962962963, "acc_stderr": 0.03944624162501116, "acc_norm": 0.2962962962962963, "acc_norm_stderr": 0.03944624162501116 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.19078947368421054, "acc_stderr": 0.031975658210324984, "acc_norm": 0.19078947368421054, "acc_norm_stderr": 0.031975658210324984 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.25, "acc_stderr": 0.04351941398892446, "acc_norm": 0.25, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.2792452830188679, "acc_stderr": 0.027611163402399715, "acc_norm": 0.2792452830188679, "acc_norm_stderr": 0.027611163402399715 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.25, "acc_stderr": 0.03621034121889507, "acc_norm": 0.25, "acc_norm_stderr": 0.03621034121889507 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.32, "acc_stderr": 0.04688261722621503, "acc_norm": 0.32, "acc_norm_stderr": 0.04688261722621503 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.25, "acc_stderr": 0.04351941398892446, "acc_norm": 0.25, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.21965317919075145, "acc_stderr": 0.031568093627031744, "acc_norm": 0.21965317919075145, "acc_norm_stderr": 0.031568093627031744 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.2549019607843137, "acc_stderr": 0.04336432707993178, "acc_norm": 0.2549019607843137, "acc_norm_stderr": 0.04336432707993178 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.31, "acc_stderr": 0.04648231987117316, "acc_norm": 0.31, "acc_norm_stderr": 0.04648231987117316 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.2553191489361702, "acc_stderr": 0.02850485647051419, "acc_norm": 0.2553191489361702, "acc_norm_stderr": 0.02850485647051419 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.22807017543859648, "acc_stderr": 0.03947152782669415, "acc_norm": 0.22807017543859648, "acc_norm_stderr": 0.03947152782669415 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.27586206896551724, "acc_stderr": 0.037245636197746325, "acc_norm": 0.27586206896551724, "acc_norm_stderr": 0.037245636197746325 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.2698412698412698, "acc_stderr": 0.022860838309232072, "acc_norm": 0.2698412698412698, "acc_norm_stderr": 0.022860838309232072 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.16666666666666666, "acc_stderr": 0.03333333333333337, "acc_norm": 0.16666666666666666, "acc_norm_stderr": 0.03333333333333337 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.25, "acc_stderr": 0.04351941398892446, "acc_norm": 0.25, "acc_norm_stderr": 0.04351941398892446 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.2709677419354839, "acc_stderr": 0.02528441611490016, "acc_norm": 0.2709677419354839, "acc_norm_stderr": 0.02528441611490016 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.27586206896551724, "acc_stderr": 0.031447125816782426, "acc_norm": 0.27586206896551724, "acc_norm_stderr": 0.031447125816782426 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.21, "acc_stderr": 0.040936018074033256, "acc_norm": 0.21, "acc_norm_stderr": 0.040936018074033256 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.2606060606060606, "acc_stderr": 0.034277431758165236, "acc_norm": 0.2606060606060606, "acc_norm_stderr": 0.034277431758165236 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.2676767676767677, "acc_stderr": 0.03154449888270286, "acc_norm": 0.2676767676767677, "acc_norm_stderr": 0.03154449888270286 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.3160621761658031, "acc_stderr": 0.03355397369686173, "acc_norm": 0.3160621761658031, "acc_norm_stderr": 0.03355397369686173 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.3384615384615385, "acc_stderr": 0.023991500500313036, "acc_norm": 0.3384615384615385, "acc_norm_stderr": 0.023991500500313036 }, "harness|hendrycksTest-high_school_mathematics|5": { "acc": 0.26296296296296295, "acc_stderr": 0.02684205787383371, "acc_norm": 0.26296296296296295, "acc_norm_stderr": 0.02684205787383371 }, "harness

搜集汇总

数据集介绍

构建方式

在大语言模型评估领域，Open LLM Leaderboard作为权威的基准测试平台，其评估结果数据集具有独特的构建逻辑。该数据集源于对OEvortex/vortex-3b模型在Leaderboard上的系统性评测，由63个配置项组成，每个配置对应一个评估任务。数据集基于单次运行生成，每次运行的时间戳作为特定分割（split）的标识，而“train”分割始终指向最新运行结果。此外，额外配置“results”用于聚合所有运行的指标，支撑排行榜上综合分数的计算与展示。这种设计确保了评估数据的时间可追溯性与结果的可比性。

特点

该数据集的核心特点在于其多维度、细粒度的评估结构。它覆盖了从常识推理（如ARC挑战集、HellaSwag）到数学问题求解（GSM8K）、从多学科知识测试（HendrycksTest涵盖57个学科）到语言理解（WinoGrande）等广泛任务。每个任务均记录准确率（acc）及其标准误差（acc_stderr），部分任务还包含归一化准确率（acc_norm）或多选指标（mc1/mc2）。这种精细化的指标设计使得研究者能够深入分析模型在不同能力维度上的表现差异，为模型优化提供精准指导。

使用方法

使用该数据集时，可通过HuggingFace Datasets库便捷加载。用户需指定配置名称（如“harness_winogrande_5”）和分割（如“train”），即可获取对应任务的评估细节。例如，调用`load_dataset("open-llm-leaderboard/details_OEvortex__vortex-3b", "harness_winogrande_5", split="train")`即可加载WinoGrande任务的最新结果。数据以Parquet格式存储，支持高效读取。对于需要历史对比的研究，可通过时间戳分割（如“2024_03_09T20_57_20.886463”）访问特定运行的结果，便于追踪模型性能的演变轨迹。

背景与挑战

背景概述

随着大规模语言模型（LLMs）的迅猛发展，如何系统性地评估其多维度能力成为学界与工业界关注的焦点。在此背景下，HuggingFace团队于2023年发起了Open LLM Leaderboard项目，旨在通过标准化基准测试为不同规模的模型提供公平、透明的性能比较平台。该数据集隶属于Open LLM Leaderboard评测体系，专门针对OEvortex团队开发的vortex-3b模型（参数量约30亿）进行性能追踪。数据集创建于2024年3月，由HuggingFace研究工程师Clémentine Fourrier主导维护，核心研究问题在于通过63个异构任务（涵盖常识推理、数学计算、专业知识问答等）的细粒度评测，揭示小型语言模型在零样本场景下的能力边界。该数据集不仅为vortex-3b模型的迭代优化提供了量化依据，更推动了开源社区对轻量级LLM实际效能的深入认知。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，其核心挑战在于如何通过有限参数量的模型（30亿参数）在涵盖ARC挑战赛、HellaSwag、GSM8K等63项任务中实现均衡表现，尤其需要解决数学推理（如GSM8K准确率仅0.9%）与专业领域知识（如形式逻辑仅16.7%）等薄弱环节的显著短板。在构建过程中，挑战则集中于评测体系的动态维护：需确保每次模型更新时63个配置的评测结果与时间戳严格对应，同时处理不同任务间采样轮次（5-shot、10-shot、25-shot）的标准化问题，以及海量评测数据（如HendrycksTest包含57个学科子集）的存储与版本管理复杂性。

常用场景

经典使用场景

在大规模语言模型评估的学术版图中，open-llm-leaderboard-old/details_OEvortex__vortex-3b 数据集扮演着基准测试结果归档与复现的关键角色。该数据集由 Open LLM Leaderboard 自动生成，完整记录了 OEvortex/vortex-3b 模型在 63 个评估配置下的细粒度性能表现，涵盖 ARC-Challenge、HellaSwag、MMLU 多学科知识、GSM8K 数学推理等经典任务。研究者可通过加载特定配置（如 harness_winogrande_5）与时间戳划分，精准追溯模型在常识推理、知识理解与数学求解等维度的原始得分，从而实现对模型能力的多维度剖析与横向对比。这一结构化的评估结果集为后续的模型改进与消融实验提供了可量化的参照基准。

衍生相关工作

该数据集衍生的相关工作主要集中于语言模型评估方法论与基准测试的标准化建设。其作为 Open LLM Leaderboard 评估流水线的直接产出，催生了诸如对评估任务难度层级划分、模型能力饱和度分析以及跨模型排名稳定性检验等后续研究。具体而言，研究者利用该数据集中 MMLU 子任务的分散得分，构建了模型知识脆弱性图谱，揭示了特定学科领域（如形式逻辑）的系统性短板，进而推动了针对小模型的知识蒸馏与课程学习策略优化。同时，数据集的结构化存储范式（Parquet 格式与配置分离）也为建立可复现的、版本可控的评估数据库提供了工程范本，促进了社区在模型透明度与可审计性方面的标准化进程。

数据集最近研究

最新研究方向

在大型语言模型评估领域，Open LLM Leaderboard已成为衡量模型综合能力的重要基准平台。针对OEvortex/vortex-3b模型的评估数据集，其研究方向聚焦于小规模参数模型在多样化任务上的性能边界探索。该数据集涵盖63个配置项，横跨常识推理（如HellaSwag、Winogrande）、数学推理（GSM8K）、多学科知识（MMLU的57个学科）以及事实一致性（TruthfulQA）等前沿维度。值得注意的是，vortex-3b在仅3B参数规模下，于HellaSwag任务展现出56.9%的归一化准确率，在Winogrande上达到60.1%，但在GSM8K数学推理中仅获0.9%的准确率，显著揭示了小模型在复杂符号推理与知识密集型任务中的固有瓶颈。这一系统性评估成果为后续研究提供了关键参照：如何通过架构创新或训练策略突破参数规模限制，在保持推理效率的同时提升跨域泛化能力，已成为该领域亟待攻克的核心问题。