open-llm-leaderboard-old/details_EleutherAI__gpt-j-6b

该数据集是在Open LLM Leaderboard上对EleutherAI/gpt-j-6b模型进行评估时自动生成的。数据集包含122个配置，每个配置对应一个被评估的任务。数据集由8次运行生成，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，名为results的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了一个使用`datasets`库中的`load_dataset`函数加载运行细节的示例。

原始信息汇总

数据集概述

数据集简介

该数据集是在评估模型 EleutherAI/gpt-j-6b 在 Open LLM Leaderboard 上的自动创建的。数据集包含 122 个配置，每个配置对应一个评估任务。

数据集结构

数据集由 8 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_EleutherAI__gpt-j-6b", "harness_gsm8k_5", split="train")

最新结果

以下是 2023-12-03T16:52:26.173919 运行的最新结果： python { "all": { "acc": 0.029567854435178165, "acc_stderr": 0.004665893134220772 }, "harness|gsm8k|5": { "acc": 0.029567854435178165, "acc_stderr": 0.004665893134220772 } }

配置详情

配置名称：harness_arc_challenge_25

• 分割：2023_07_18T11_28_34.858547
  • 路径：[**/details_harness|arc:challenge|25_2023-07-18T11:28:34.858547.parquet]
• 分割：2023_07_19T10_47_17.854530
  • 路径：[**/details_harness|arc:challenge|25_2023-07-19T10:47:17.854530.parquet]
• 分割：2023_08_29T19_41_28.653242
  • 路径：[**/details_harness|arc:challenge|25_2023-08-29T19:41:28.653242.parquet]
• 分割：2023_09_21T23_10_49.133869
  • 路径：[**/details_harness|arc:challenge|25_2023-09-21T23-10-49.133869.parquet]
• 分割：latest
  • 路径：[**/details_harness|arc:challenge|25_2023-09-21T23-10-49.133869.parquet]

配置名称：harness_drop_3

• 分割：2023_09_08T17_46_12.907701
  • 路径：[**/details_harness|drop|3_2023-09-08T17-46-12.907701.parquet]
• 分割：latest
  • 路径：[**/details_harness|drop|3_2023-09-08T17-46-12.907701.parquet]

配置名称：harness_gsm8k_5

• 分割：2023_09_08T17_46_12.907701
  • 路径：[**/details_harness|gsm8k|5_2023-09-08T17-46-12.907701.parquet]
• 分割：2023_12_03T16_51_11.923338
  • 路径：[**/details_harness|gsm8k|5_2023-12-03T16-51-11.923338.parquet]
• 分割：2023_12_03T16_52_26.173919
  • 路径：[**/details_harness|gsm8k|5_2023-12-03T16-52-26.173919.parquet]
• 分割：latest
  • 路径：[**/details_harness|gsm8k|5_2023-12-03T16-52-26.173919.parquet]

配置名称：harness_hellaswag_10

• 分割：2023_07_18T11_28_34.858547
  • 路径：[**/details_harness|hellaswag|10_2023-07-18T11:28:34.858547.parquet]
• 分割：2023_07_19T10_47_17.854530
  • 路径：[**/details_harness|hellaswag|10_2023-07-19T10:47:17.854530.parquet]
• 分割：2023_08_29T19_41_28.653242
  • 路径：[**/details_harness|hellaswag|10_2023-08-29T19:41:28.653242.parquet]
• 分割：2023_09_21T23_10_49.133869
  • 路径：[**/details_harness|hellaswag|10_2023-09-21T23-10-49.133869.parquet]
• 分割：latest
  • 路径：[**/details_harness|hellaswag|10_2023-09-21T23-10-49.133869.parquet]

配置名称：harness_hendrycksTest_5

• 分割：2023_07_18T11_28_34.858547
  • 路径：[**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-18T11:28:34.858547.parquet, **/details_harness|hendrycksTest-anatomy|5_2023-07-18T11:28:34.858547.parquet, ...]
• 分割：2023_07_19T10_47_17.854530
  • 路径：[**/details_harness|hendrycksTest-abstract_algebra|5_2023-07-19T10:47:17.854530.parquet, **/details_harness|hendrycksTest-anatomy|5_2023-07-19T10:47:17.854530.parquet, ...]
• 分割：2023_08_29T19_41_28.653242
  • 路径：[**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-29T19:41:28.653242.parquet, **/details_harness|hendrycksTest-anatomy|5_2023-08-29T19:41:28.653242.parquet, ...]