open-llm-leaderboard-old/details_webbigdata__ALMA-7B-Ja-V2

该数据集是在模型webbigdata/ALMA-7B-Ja-V2在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。它包含一次运行的结果，每次运行在每个配置中表示为特定的分割。train分割始终指向最新的结果。一个名为results的额外配置存储了运行的所有聚合结果，这些结果用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用Python中的datasets库加载运行细节的示例。

原始信息汇总

数据集概述

数据集组成

• 该数据集包含63个配置，每个配置对应一个评估任务。
• 数据集由1次运行生成，每个运行的结果以特定的时间戳命名的分割存储。
• "train"分割始终指向最新的结果。
• 额外的"results"配置存储所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。

最新结果

• 最新结果来自2023-12-09T14:45:04.238989的运行，包含多个任务的评估指标。
• 示例结果包括：
  • "all": 总体准确率（acc）为0.44789895292493354，标准化准确率（acc_norm）为0.45411301041384805。
  • "harness|arc:challenge|25": 准确率为0.5102389078498294，标准化准确率为0.5238907849829352。
  • "harness|hellaswag|10": 准确率为0.5880302728540131，标准化准确率为0.7792272455686118。
  • 其他任务的结果也包含在内。

数据加载示例

• 可以使用以下代码加载特定运行的详细信息： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_webbigdata__ALMA-7B-Ja-V2", "harness_winogrande_5", split="train")

配置详情

• 数据集包含多个配置，每个配置对应不同的任务和数据文件。
• 示例配置包括：
  • harness_arc_challenge_25
  • harness_gsm8k_5
  • harness_hellaswag_10
  • harness_hendrycksTest_5
• 每个配置包含特定任务的数据文件路径和分割信息。