open-llm-leaderboard/details_saurav1199__adisesha-phi1.5-7-3-20000

该数据集是在模型 saurav1199/adisesha-phi1.5-7-3-20000 在 Open LLM Leaderboard 上的评估运行期间自动创建的。它由 63 个配置组成，每个配置对应一个被评估的任务。数据集来自 1 次运行，每次运行在每个配置中表示为特定的分割，使用运行的时间戳命名。train 分割始终指向最新的结果。一个额外的配置 results 存储了运行的所有聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。可以使用 datasets 库中的 load_dataset 函数加载该数据集。

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of saurav1199/adisesha-phi1.5-7-3-20000
• 创建原因: 自动创建于模型saurav1199/adisesha-phi1.5-7-3-20000在Open LLM Leaderboard的评估运行期间。
• 组成: 包含63个配置，每个配置对应一个评估任务。
• 创建次数: 从1次运行中创建，每次运行以时间戳命名的特定分割存储。

数据集结构

• 分割: 每个配置包含多个分割，包括以时间戳命名的特定运行分割和指向最新结果的"train"分割。
• 额外配置: “results”配置存储所有运行的聚合结果，用于计算和显示聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_saurav1199__adisesha-phi1.5-7-3-20000", "harness_winogrande_5", split="train")

最新结果

• 结果示例: 提供了一系列任务的准确率（acc）和标准误差（acc_stderr）等指标。
• 任务范围: 包括但不限于数学、物理、生物、化学等多个学科领域的评估。

数据集配置

• 配置列表: 包括多个任务特定的配置，如harness_arc_challenge_25, harness_gsm8k_5, harness_hellaswag_10等。
• 数据文件: 每个配置对应的数据文件，包括特定时间戳的分割和最新分割。

数据集使用

• 目的: 用于评估模型在不同任务上的性能。
• 方法: 通过加载特定配置的数据集分割来获取评估结果。