open-llm-leaderboard-old/details_SF-Foundation__TextBase-v0.2

Name: open-llm-leaderboard-old/details_SF-Foundation__TextBase-v0.2
Creator: open-llm-leaderboard-old
Published: 2024-04-15 10:52:28
License: 暂无描述

Hugging Face2024-04-15 更新2024-06-22 收录

下载链接：

https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_SF-Foundation__TextBase-v0.2

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集是在Open LLM Leaderboard上对模型SF-Foundation/TextBase-v0.2进行评估时自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集由2次运行创建，每次运行在每个配置中表示为特定的分割，train分割始终指向最新结果。此外，名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载运行详情的示例。

提供机构：

open-llm-leaderboard-old

原始信息汇总

数据集概述

数据集基本信息

名称: Evaluation run of SF-Foundation/TextBase-v0.2
来源: 自动创建于模型 SF-Foundation/TextBase-v0.2 在 Open LLM Leaderboard 的评估运行中。
组成: 包含 63 个配置，每个配置对应一个评估任务。
创建次数: 从 2 次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
最新结果: "train" 分割始终指向最新结果。
结果汇总: 一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_SF-Foundation__TextBase-v0.2", "harness_winogrande_5", split="train")

配置信息

配置名称: harness_arc_challenge_25
- 分割: 2024_04_15T10_42_26.389102
  - 路径: **/details_harness|arc:challenge|25_2024-04-15T10-42-26.389102.parquet
- 分割: 2024_04_15T10_49_47.422583
  - 路径: **/details_harness|arc:challenge|25_2024-04-15T10-49-47.422583.parquet
- 分割: latest
  - 路径: **/details_harness|arc:challenge|25_2024-04-15T10-49-47.422583.parquet
配置名称: harness_gsm8k_5
- 分割: 2024_04_15T10_42_26.389102
  - 路径: **/details_harness|gsm8k|5_2024-04-15T10-42-26.389102.parquet
- 分割: 2024_04_15T10_49_47.422583
  - 路径: **/details_harness|gsm8k|5_2024-04-15T10-49-47.422583.parquet
- 分割: latest
  - 路径: **/details_harness|gsm8k|5_2024-04-15T10-49-47.422583.parquet
配置名称: harness_hellaswag_10
- 分割: 2024_04_15T10_42_26.389102
  - 路径: **/details_harness|hellaswag|10_2024-04-15T10-42-26.389102.parquet
- 分割: 2024_04_15T10_49_47.422583
  - 路径: **/details_harness|hellaswag|10_2024-04-15T10-49-47.422583.parquet
- 分割: latest
  - 路径: **/details_harness|hellaswag|10_2024-04-15T10-49-47.422583.parquet
配置名称: harness_hendrycksTest_5
- 分割: 2024_04_15T10_42_26.389102
  - 路径:
    - **/details_harness|hendrycksTest-abstract_algebra|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-anatomy|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-astronomy|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-business_ethics|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-clinical_knowledge|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-college_biology|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-college_chemistry|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-college_computer_science|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-college_mathematics|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-college_medicine|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-college_physics|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-computer_security|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-conceptual_physics|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-econometrics|5_2024-04-15T10-42-26.389102.parquet
    - **/details_harness|hendrycksTest-electrical_engineering|5_2024-04-15T10-42-26.389102.parquet

搜集汇总

数据集介绍

构建方式

该数据集是在Open LLM Leaderboard评估框架下，针对SF-Foundation/TextBase-v0.2模型自动生成的评估结果记录。数据集由63个配置组成，每个配置对应一个被评估的任务，例如ARC挑战赛、HellaSwag、GSM8K以及涵盖数十个学科的MMLU基准测试。数据来源于两次独立的评估运行，每次运行的结果以时间戳命名作为独立的分割存储，而'train'分割始终指向最新一次运行的结果。此外，还包含一个名为'results'的额外配置，用于汇总所有运行的聚合指标，这些指标被用于在排行榜上计算和展示模型的总体表现。

特点

该数据集的核心特点在于其结构化与版本化的评估记录方式。每个任务配置下均包含多次运行的分割，便于研究人员追踪模型性能随时间或不同实验条件下的变化。数据集不仅存储了每个任务细粒度的评估指标（如准确率及其标准误差），还通过'results'配置提供了跨任务的聚合结果，使得模型在语言理解、推理、数学及专业知识等多个维度的综合能力得以直观呈现。这种设计确保了评估过程的透明性和可复现性。

使用方法

用户可通过Hugging Face的datasets库便捷地加载该数据集。例如，使用`load_dataset('open-llm-leaderboard/details_SF-Foundation__TextBase-v0.2', 'harness_winogrande_5', split='train')`即可获取Winogrande任务的最新评估详情。各任务配置的名称与评估框架中的任务标识相对应，用户可根据研究需求选择特定任务或加载'results'配置以分析模型的整体表现。加载的数据以Parquet格式存储，支持高效的I/O操作，便于进行后续的统计分析与可视化工作。

背景与挑战

背景概述

在大型语言模型（LLM）性能评估领域，Open LLM Leaderboard由Hugging Face团队于2023年发起，旨在为不断涌现的开源模型提供标准化、可复现的评测基准。该数据集针对SF-Foundation/TextBase-v0.2模型，记录了其在2024年4月15日两次评估运行中的详细表现，涵盖ARC-Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande及GSM8K等63项任务配置。其核心研究问题在于如何系统性地衡量模型在常识推理、知识理解、数学求解及事实一致性等多维度能力上的综合表现，为社区提供透明的性能比较依据。该数据集已成为评估开源LLM的重要参考，推动了模型开发与迭代的良性竞争。

当前挑战

该数据集面临的核心挑战在于如何确保评测的公平性与全面性。一方面，模型在MMLU的57个学科子集上表现参差不齐，例如在抽象代数上准确率仅35%，而在高中美国政府与政治上达89.6%，暴露出跨领域知识覆盖的不均衡性，这要求评测设计需更精细地平衡难度与广度。另一方面，构建过程中需解决多轮评估数据的一致性维护问题——不同时间戳的运行结果需通过独立split存储，且latest split需动态指向最新数据，这对数据版本管理与自动更新机制提出了高要求。此外，TruthfulQA的MC1准确率仅63.8%，凸显了模型在避免生成错误事实方面的固有缺陷，此类挑战需评测框架持续迭代以捕捉更细微的生成偏差。

常用场景

经典使用场景

在大型语言模型（LLM）飞速演进的浪潮中，对模型性能进行系统、可复现的评估成为学术研究的基石。该数据集作为Open LLM Leaderboard的自动衍生产物，其经典使用场景在于为模型SF-Foundation/TextBase-v0.2提供细粒度的评估记录。它囊括了ARC-Challenge、HellaSwag、MMLU（涵盖57个学科）、TruthfulQA、Winogrande和GSM8K等63个配置，覆盖常识推理、知识理解、数学求解与语言歧义消解等核心维度，为研究者提供了一个标准化的基准测试平台，用以横向对比不同模型的泛化能力与鲁棒性。

实际应用

在实际应用中，该数据集可作为模型选型与部署前验证的权威参考。开发者可利用其详尽的分数分布，快速判断TextBase-v0.2在特定领域（如医学、法律或数学）的适用性，从而在对话系统、知识问答平台或教育辅助工具中做出明智决策。此外，数据集中的多次运行记录（含时间戳）便于追踪模型迭代过程中的性能波动，为持续集成与模型监控提供数据支撑，助力企业将LLM高效落地于真实场景。

衍生相关工作

该数据集直接衍生于Open LLM Leaderboard这一标杆性项目，后者催生了大量关于LLM评估方法论的研究。例如，基于其结构化结果，学者们开发了更精细的任务难度分析工具，并提出了针对MMLU学科子集的特化评估框架。同时，该数据集常被用作元学习与迁移学习研究的基准，支持探讨模型在不同知识领域间的知识迁移效率。此外，它也为后续的模型集成与鲁棒性增强工作提供了对比基线，推动了如自适应少样本学习等前沿方向的探索。

以上内容由遇见数据集搜集并总结生成