open-llm-leaderboard/details_gmonsoon__TinyWombat-1.8b-Chat-v.1

该数据集是在Open LLM Leaderboard上对模型gmonsoon/TinyWombat-1.8b-Chat-v.1进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，一个名为"results"的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。该数据集是在Open LLM Leaderboard上对模型gmonsoon/TinyWombat-1.8b-Chat-v.1进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，一个名为"results"的配置存储了所有运行的聚合结果，并用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of gmonsoon/TinyWombat-1.8b-Chat-v.1

数据集描述

• dataset_summary: 该数据集是在评估模型gmonsoon/TinyWombat-1.8b-Chat-v.1在Open LLM Leaderboard上的运行过程中自动创建的。

数据集组成

• 数据结构: 包含63个配置，每个配置对应一个评估任务。
• 数据来源: 数据集由1次运行创建，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳命名。
• 特殊配置: “train”分割始终指向最新结果，而“results”配置存储所有运行的聚合结果，用于计算和显示聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_gmonsoon__TinyWombat-1.8b-Chat-v.1", "harness_winogrande_5", split="train")

最新结果

• 结果来源: 来自2024-03-11T04:55:23.780993的运行结果。
• 结果内容: 包含多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。

数据集配置详情

配置列表

• harness_arc_challenge_25
• harness_gsm8k_5
• harness_hellaswag_10
• harness_hendrycksTest_5

每个配置包含多个数据文件，根据不同的任务和时间戳进行分割。

搜集汇总

数据集介绍

构建方式

在开放大语言模型排行榜（Open LLM Leaderboard）的评估框架下，该数据集系针对模型 gmonsoon/TinyWombat-1.8b-Chat-v.1 进行自动化评测时自动生成。其构建过程基于单一运行实例，并将每次运行结果按时间戳划分为独立的数据分片，每个分片对应一个特定评测任务。数据集包含63个配置，每个配置均与一项被评估任务相对应，同时另设一个名为“results”的配置用于存储所有任务的聚合结果，以支持后续指标计算与可视化展示。

特点

该数据集的结构设计兼具精细性与可追溯性。每个配置下的数据分片以运行时间戳命名，而“train”分片则始终指向最新一次的评估结果，便于用户快速获取最新性能数据。数据集涵盖ARC-Challenge、HellaSwag、MMLU（涵盖57个学科子集）、TruthfulQA、Winogrande及GSM8K等多样化的评测任务，能够全面反映模型在推理、常识、数学及知识理解等多维度的能力表现。

使用方法

用户可通过HuggingFace的datasets库便捷地加载该数据集。例如，使用 load_dataset 函数并指定配置名称（如“harness_winogrande_5”）和分片名称（如“train”），即可获取特定任务的评估详情。每个配置下的分片路径均指向对应的Parquet格式文件，支持高效的数据读取与处理。聚合结果可通过“results”配置获取，便于进行整体性能分析。

背景与挑战

背景概述

大语言模型的迅猛发展催生了对其能力进行系统化评估的迫切需求，Open LLM Leaderboard应运而生，成为衡量模型性能的权威基准平台。该数据集创建于2024年3月，由HuggingFace团队主导，旨在记录并公开模型gmonsoon/TinyWombat-1.8b-Chat-v.1在63个多样化任务上的评估结果。核心研究问题聚焦于如何通过标准化测试集（涵盖ARC挑战赛、HellaSwag、MMLU及GSM8K等）客观反映小规模对话模型的推理、常识与数学能力。该数据集不仅为模型开发者提供了透明的性能反馈，更推动了社区对轻量级模型潜力的探索，对自然语言处理领域内模型对比与迭代具有重要参考价值。

当前挑战

该数据集所解决的领域问题在于为小规模语言模型（1.8B参数）的通用能力提供多维度的量化评估，尤其是在推理与知识密集型任务上暴露其局限性。构建过程中面临的主要挑战包括：其一，需整合63个异构任务的数据格式与评估指标，确保结果的可比性与可复现性；其二，模型在GSM8K数学推理任务上准确率仅1.97%，凸显了小型模型在复杂符号计算上的根本性缺陷；其三，MMLU多学科测试中多数科目准确率低于30%，揭示出知识覆盖的广度与深度不足；其四，评估流程需自动化处理多次运行结果，并维护时间戳分片以支持历史追溯，增加了数据管理的复杂性。

常用场景

经典使用场景

在大型语言模型（LLM）蓬勃发展的时代，对模型性能进行系统化、标准化的评估成为推动技术进步的关键环节。该数据集作为Open LLM Leaderboard对TinyWombat-1.8b-Chat-v.1模型进行评估的产物，其最经典的使用场景在于为研究者提供细粒度的模型评测结果。具体而言，数据集涵盖了63个配置，分别对应ARC-Challenge、HellaSwag、MMLU（涵盖抽象代数、解剖学、天文学等57个学科）、TruthfulQA、Winogrande和GSM8K等主流基准任务，并记录了模型在每项任务上的准确率及标准差。研究者可借助该数据集复现评测流程，或将其作为参照基准，对比不同模型在相同条件下的表现差异，从而深入理解模型在推理、常识、数学及知识掌握等方面的能力边界。

实际应用

在实际应用层面，该数据集为开发者部署轻量级对话模型提供了关键的决策参考。例如，在资源敏感的移动端或嵌入式场景中，TinyWombat-1.8b-Chat-v.1在Winogrande任务上达到0.602的准确率，表明其具备良好的指代消解与常识推理能力，这使其在智能客服、教育辅导等需要精准理解用户意图的系统中具有应用潜力。同时，数据集揭示的GSM8K数学推理能力（acc仅0.020）提醒开发者，该模型不适用于金融计算或科学计算等对数值精度要求高的场景。开发者可依据这些细粒度的性能剖面，为具体业务场景选择合适的模型，或针对性地进行微调与适配，从而在效率与效果之间取得平衡。

衍生相关工作

该数据集衍生了一系列围绕小型语言模型评估与优化的经典工作。一方面，它作为Open LLM Leaderboard生态的组成部分，催生了大量对比研究，例如学者们通过对比TinyWombat与其他同参数级别模型在相同配置下的结果，系统分析了模型架构、训练数据与推理能力之间的关联。另一方面，数据集中的细粒度MMLU子领域结果被用于探究模型在特定学科知识上的表现，进而推动了如知识蒸馏、领域自适应微调等技术的研究。此外，该数据集还常被用作基线，在后续提出的新模型或新训练方法（如对抗训练、提示优化）的论文中，作为衡量改进效果的参照，从而形成了从评测到优化的闭环研究链条。