open-llm-leaderboard-old/details_sail__Sailor-0.5B-Chat

该数据集是在评估模型sail/Sailor-0.5B-Chat运行期间自动创建的，用于Open LLM Leaderboard。数据集包含63个配置，每个配置对应一个评估任务。数据集由一个运行创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。此外，还有一个名为"results"的配置，存储所有运行的聚合结果，用于计算和显示Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型sail/Sailor-0.5B-Chat在Open LLM Leaderboard上的运行过程中自动创建的。

数据集组成

• 数据集包含63个配置，每个配置对应一个评估任务。
• 数据集来自1次运行，每次运行在每个配置中都有一个特定的分割，分割名称使用运行的时间戳。
• "train"分割始终指向最新的结果。
• 一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_sail__Sailor-0.5B-Chat", "harness_winogrande_5", split="train")

最新结果

以下是2024-03-11T06:54:29.694167运行的最新结果：

python { "all": { "acc": 0.26952652051194215, "acc_stderr": 0.031280284019296764, "acc_norm": 0.2711161583031526, "acc_norm_stderr": 0.03205632074727182, "mc1": 0.25091799265605874, "mc1_stderr": 0.01517698502770769, "mc2": 0.3985195692914118, "mc2_stderr": 0.014448830231007221 }, "harness|arc:challenge|25": { "acc": 0.2568259385665529, "acc_stderr": 0.0127669237941168, "acc_norm": 0.3037542662116041, "acc_norm_stderr": 0.013438909184778768 }, "harness|hellaswag|10": { "acc": 0.3639713204540928, "acc_stderr": 0.004801572028920787, "acc_norm": 0.45508862776339376, "acc_norm_stderr": 0.004969611554685394 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, # 其他任务的结果... }

配置详情

• harness_arc_challenge_25

  • 分割: 2024_03_11T06_54_29.694167, latest
  • 路径: **/details_harness|arc:challenge|25_2024-03-11T06-54-29.694167.parquet

• harness_gsm8k_5

  • 分割: 2024_03_11T06_54_29.694167, latest
  • 路径: **/details_harness|gsm8k|5_2024-03-11T06-54-29.694167.parquet

• harness_hellaswag_10

  • 分割: 2024_03_11T06_54_29.694167, latest
  • 路径: **/details_harness|hellaswag|10_2024-03-11T06-54-29.694167.parquet

• harness_hendrycksTest_5

  • 分割: 2024_03_11T06_54_29.694167, latest
  • 路径:
    • **/details_harness|hendrycksTest-abstract_algebra|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-astronomy|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-business_ethics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-clinical_knowledge|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-college_biology|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-college_chemistry|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-college_computer_science|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-college_mathematics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-college_medicine|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-college_physics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-computer_security|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-conceptual_physics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-econometrics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-electrical_engineering|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-elementary_mathematics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-formal_logic|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-global_facts|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_biology|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_chemistry|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_computer_science|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_european_history|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_geography|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_government_and_politics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_macroeconomics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_mathematics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_microeconomics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_physics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_psychology|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_statistics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_us_history|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-high_school_world_history|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-human_aging|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-human_sexuality|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-international_law|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-jurisprudence|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-logical_fallacies|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-machine_learning|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-management|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-marketing|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-medical_genetics|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-miscellaneous|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-moral_disputes|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-moral_scenarios|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-nutrition|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-philosophy|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-prehistory|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-professional_accounting|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-professional_law|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-professional_medicine|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-professional_psychology|5_2024-03-11T06-54-29.694167.parquet
    • **/details_harness|hendrycksTest-public_relations|5_2024-03-11T06-54-29.694167.parquet
    • `**/details_harness|hendrycksTest-security_studies|5_2024

搜集汇总

数据集介绍

构建方式

该数据集源于对模型sail/Sailor-0.5B-Chat在Open LLM Leaderboard上的自动化评估过程。它由63个配置组成，每个配置对应一个被评估的任务。数据集基于一次运行生成，每次运行的结果作为一个独立的分片存储于各配置中，分片以运行的时间戳命名，而“train”分片始终指向最新结果。此外，一个名为“results”的额外配置存储了所有聚合后的运行结果，用于在排行榜上计算和展示综合指标。

使用方法

使用该数据集时，可通过HuggingFace的datasets库加载。例如，欲获取某个特定任务（如winogrande）的最新评估细节，只需调用load_dataset函数，指定配置名称（如“harness_winogrande_5”）和分片（如“train”）即可。对于历史运行结果，可通过对应时间戳的分片名称进行访问。此外，results配置提供了所有任务的聚合指标，方便进行整体性能评估与比较。

背景与挑战

背景概述

在大型语言模型（LLM）评估领域，开放排行榜（Open LLM Leaderboard）已成为衡量模型性能的重要基准。该数据集由Hugging Face团队于2024年创建，旨在系统记录Sailor-0.5B-Chat模型在多项标准化任务上的评估结果。核心研究问题聚焦于探索小型对话模型在多学科推理、常识理解与数学问题求解等维度的能力边界。作为东南亚语言模型Sailor系列的轻量化版本，该模型的评估数据为低参数量模型在复杂任务上的表现提供了珍贵参照，其涵盖的57个学科测试（如MMLU）与6项核心基准（如ARC、HellaSwag）构成了完整的性能画像，对推动多语言、多任务评估体系的发展具有示范意义。

当前挑战

该数据集所反映的核心挑战在于小型语言模型（0.5B参数）在知识密集型任务中表现出的显著局限性。在GSM8K数学推理任务中准确率仅1.8%，揭示出模型在符号运算与多步推导方面的脆弱性；MMLU学科测试平均准确率约27%，表明跨领域知识的覆盖存在系统性盲区。构建过程中面临的任务异构性挑战尤为突出——需将57个学科测试、6种基准格式统一为可比较的评估框架，同时保证各配置中数据分片（parquet文件）与时间戳的精确关联。此外，评估结果中不同任务间的性能方差（如Winogrande达56.5%而ARC仅25.7%）凸显了模型能力分布的非均衡性，这对评估指标的标准化解读提出了更高要求。

常用场景

经典使用场景

在开放大语言模型评估领域，该数据集作为Open LLM Leaderboard的评测结果存档，经典使用场景是系统性地追踪和比较sail/Sailor-0.5B-Chat模型在63个多样化任务上的表现。研究者通过加载各配置的parquet文件，可深入分析模型在ARC挑战集、HellaSwag常识推理、GSM8K数学问题及涵盖57个学科的MMLU基准上的细粒度性能，从而评估模型在推理、知识储备和语言理解等多维度的能力。

解决学术问题

该数据集解决了大语言模型性能标准化评估与结果可复现性的学术难题。通过统一评测框架和结构化存储，它为比较不同模型在相同条件下的表现提供了可靠基准，避免了因评估流程差异导致的结论偏差。其意义在于推动了模型透明性研究，使学术界能够基于细粒度结果分析模型在不同知识领域（如医学、法律、物理）的弱点，进而指导模型改进方向。

实际应用

在实际应用中，该数据集服务于模型选型与部署决策。开发者和企业可通过查阅Sailor-0.5B-Chat在GSM8K（准确率仅1.8%）和ARC挑战集（25.7%）上的表现，快速判断该模型不适用于数学推理或复杂科学问答场景，而其在Winogrande（56.5%）上的相对优势则暗示了在代词消歧任务中的潜在价值。这种细粒度评估直接支撑了特定场景下的模型适配性分析。

数据集最近研究

最新研究方向

当前，大型语言模型（LLM）的评估与基准测试已成为自然语言处理领域的前沿热点。该数据集围绕Sailor-0.5B-Chat模型在Open LLM Leaderboard上的表现，系统性地记录了其在63个任务配置上的详细评测结果，涵盖ARC挑战赛、HellaSwag、GSM8K以及涵盖从抽象代数到病毒学等57个学科的MMLU基准。这一研究方向聚焦于通过标准化、可复现的评估框架，量化小规模对话模型在推理、常识与专业知识等多维能力上的表现。鉴于近期业界对轻量级高效模型的关注升温，此类细粒度评测数据不仅揭示了0.5B参数级别模型的性能边界，也为研究者在模型压缩、领域适应及多任务学习等方向提供了关键参考，推动了更透明、更严谨的模型比较与迭代优化。