open-llm-leaderboard/details_Isaak-Carter__J.O.S.I.E.3-Beta10-7B-slerp

该数据集是在评估模型Isaak-Carter/J.O.S.I.E.3-Beta10-7B-slerp时自动生成的，包含63个配置，每个配置对应一个评估任务。数据集由2次运行生成，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果，用于在Open LLM Leaderboard上计算和显示聚合指标。

原始信息汇总

数据集概述

数据集基本信息

• 名称: Evaluation run of Isaak-Carter/J.O.S.I.E.3-Beta10-7B-slerp
• 创建目的: 自动创建于模型Isaak-Carter/J.O.S.I.E.3-Beta10-7B-slerp在Open LLM Leaderboard的评估运行期间。

数据集结构

• 配置数量: 63
• 数据来源: 2次运行
• 数据分割: 每个配置包含特定分割，以运行时间戳命名。"train"分割指向最新结果。
• 额外配置: "results"用于存储所有运行的聚合结果，用于计算和显示聚合指标。

加载数据示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Isaak-Carter__J.O.S.I.E.3-Beta10-7B-slerp", "harness_winogrande_5", split="train")

最新结果

• 结果来源: 来自2024-04-05T10:19:00.465197的运行。
• 结果内容: 包含多个任务的评估结果，如准确率(acc)、标准误差(acc_stderr)等。

配置详情

配置名称: harness_arc_challenge_25

• 数据文件:
  • 2024-04-05T10:14:32.256616
  • 2024-04-05T10:19:00.465197
  • latest

配置名称: harness_gsm8k_5

• 数据文件:
  • 2024-04-05T10:14:32.256616
  • 2024-04-05T10:19:00.465197
  • latest

配置名称: harness_hellaswag_10

• 数据文件:
  • 2024-04-05T10:14:32.256616
  • 2024-04-05T10:19:00.465197
  • latest

配置名称: harness_hendrycksTest_5

• 数据文件: 包含多个子任务的数据文件，如abstract_algebra, anatomy等，每个子任务有不同的数据分割。

以上概述提供了数据集的基本信息、结构、加载方法以及特定配置的详细信息。