open-llm-leaderboard-old/details_kalisai__Nusantara-0.8b-Indo-Chat

该数据集是在模型 kalisai/Nusantara-0.8b-Indo-Chat 在 Open LLM Leaderboard 上的评估运行期间自动创建的。它由 63 个配置组成，每个配置对应一个评估任务。数据集是从 1 次运行中生成的，每次运行在每个配置中表示为特定的分割。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示 Open LLM Leaderboard 上的聚合指标。可以使用提供的 Python 代码片段加载数据集。

原始信息汇总

数据集概述

数据集描述

该数据集是在模型kalisai/Nusantara-0.8b-Indo-Chat在Open LLM Leaderboard上的评估运行期间自动创建的。

数据集结构

• 配置数量：63个配置，每个配置对应一个评估任务。
• 运行次数：数据集从1次运行中创建。每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 训练分割："train"分割总是指向最新的结果。
• 结果配置：一个额外的配置"results"存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_kalisai__Nusantara-0.8b-Indo-Chat", "harness_winogrande_5", split="train")

最新结果

以下是2024-03-11T04:47:00.134290运行的最新结果：

python { "all": { "acc": 0.27086777357013125, "acc_stderr": 0.03134225012474849, "acc_norm": 0.2725137250193632, "acc_norm_stderr": 0.032121599504878445, "mc1": 0.24112607099143207, "mc1_stderr": 0.014974827279752329, "mc2": 0.39538805225865514, "mc2_stderr": 0.014665309362336332 }, "harness|arc:challenge|25": { "acc": 0.27474402730375425, "acc_stderr": 0.013044617212771227, "acc_norm": 0.3037542662116041, "acc_norm_stderr": 0.01343890918477876 }, "harness|hellaswag|10": { "acc": 0.35839474208325034, "acc_stderr": 0.004785488626807562, "acc_norm": 0.44612626966739694, "acc_norm_stderr": 0.0049607323822552386 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.3, "acc_stderr": 0.046056618647183814, "acc_norm": 0.3, "acc_norm_stderr": 0.046056618647183814 }, ... }

配置详情

• harness_arc_challenge_25

  • 分割：2024_03_11T04_47_00.134290, latest
  • 路径：**/details_harness|arc:challenge|25_2024-03-11T04-47-00.134290.parquet

• harness_gsm8k_5

  • 分割：2024_03_11T04_47_00.134290, latest
  • 路径：**/details_harness|gsm8k|5_2024-03-11T04-47-00.134290.parquet

• harness_hellaswag_10

  • 分割：2024_03_11T04_47_00.134290, latest
  • 路径：**/details_harness|hellaswag|10_2024-03-11T04-47-00.134290.parquet

• harness_hendrycksTest_5

  • 分割：2024_03_11T04_47_00.134290, latest
  • 路径：**/details_harness|hendrycksTest-abstract_algebra|5_2024-03-11T04-47-00.134290.parquet, ...

以上是数据集的详细概述，包括数据集的描述、结构、加载示例、最新结果和配置详情。