open-llm-leaderboard-old/details_postitive666__llama3_ruozhiba_8b

该数据集是在模型 postitive666/llama3_ruozhiba_8b 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 63 个配置组成，每个配置对应一个评估任务。数据集是从 1 次运行中创建的，每次运行在每个配置中表示为特定的拆分，拆分的名称使用运行的时间戳。train 拆分始终指向最新的结果。一个名为 results 的额外配置存储了运行的所有聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 `datasets` 库中的 `load_dataset` 函数加载数据集的示例，并包含了特定运行的最新结果。

原始信息汇总

数据集概述

该数据集是在对模型 postitive666/llama3_ruozhiba_8b 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。数据集包含 63 个配置，每个配置对应一个评估任务。

数据集结构

• 配置数量：63 个配置
• 数据来源：从 1 次运行中创建，每个运行对应一个特定的时间戳
• 数据分割：每个配置包含多个分割，其中 "train" 分割指向最新的结果
• 结果汇总：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_postitive666__llama3_ruozhiba_8b", "harness_winogrande_5", split="train")

最新结果

以下是 最新结果 的摘要：

python { "all": { "acc": 0.6668689351972811, "acc_stderr": 0.0317882549107606, "acc_norm": 0.6689657873879684, "acc_norm_stderr": 0.03242658324115199, "mc1": 0.3488372093023256, "mc1_stderr": 0.016684419859986893, "mc2": 0.4996694793036768, "mc2_stderr": 0.015277025362254925 }, "harness|arc:challenge|25": { "acc": 0.5742320819112628, "acc_stderr": 0.01444946427886881, "acc_norm": 0.60580204778157, "acc_norm_stderr": 0.014280522667467321 }, "harness|hellaswag|10": { "acc": 0.5932085241983669, "acc_stderr": 0.004902314055725598, "acc_norm": 0.7884883489344752, "acc_norm_stderr": 0.004075456897370668 }, ... }

配置详情

• harness_arc_challenge_25

  • 分割：2024_04_19T18_40_42.337352, latest
  • 路径：**/details_harness|arc:challenge|25_2024-04-19T18-40-42.337352.parquet

• harness_gsm8k_5

  • 分割：2024_04_19T18_40_42.337352, latest
  • 路径：**/details_harness|gsm8k|5_2024-04-19T18-40-42.337352.parquet

• harness_hellaswag_10

  • 分割：2024_04_19T18_40_42.337352, latest
  • 路径：**/details_harness|hellaswag|10_2024-04-19T18-40-42.337352.parquet

• harness_hendrycksTest_5

  • 分割：2024_04_19T18_40_42.337352, latest
  • 路径：多个路径，包括 **/details_harness|hendrycksTest-abstract_algebra|5_2024-04-19T18-40-42.337352.parquet 等