open-llm-leaderboard-old/details_sophosympatheia__Aurora-Nights-70B-v1.0

该数据集是在评估模型sophosympatheia/Aurora-Nights-70B-v1.0时自动创建的，评估过程在Open LLM Leaderboard上进行。数据集由63个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集创建

• 创建背景：该数据集是在评估模型 sophosympatheia/Aurora-Nights-70B-v1.0 的过程中自动创建的。
• 评估平台：数据集用于 Open LLM Leaderboard。

数据集结构

• 配置数量：数据集包含 63 个配置，每个配置对应一个评估任务。
• 数据来源：数据集从 1 次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• 最新结果："train" 分割始终指向最新的结果。
• 汇总结果：一个额外的配置 "results" 存储所有运行的汇总结果，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_sophosympatheia__Aurora-Nights-70B-v1.0", "harness_winogrande_5", split="train")

最新结果

• 最新结果时间戳：2023-12-30T10:37:31.144235
• 任务结果：
  • 总体结果：
    • acc: 0.7054744523563992
    • acc_stderr: 0.030133399589619393
    • acc_norm: 0.7078376241180532
    • acc_norm_stderr: 0.03072510235749947
    • mc1: 0.4528763769889841
    • mc1_stderr: 0.01742558984831402
    • mc2: 0.6281358101050266
    • mc2_stderr: 0.014981280535224054
  • 具体任务结果：
    • harness|arc:challenge|25:
      • acc: 0.6732081911262798
      • acc_stderr: 0.013706665975587336
      • acc_norm: 0.7133105802047781
      • acc_norm_stderr: 0.013214986329274774
    • harness|hellaswag|10:
      • acc: 0.6980681139215296
      • acc_stderr: 0.0045815761241797485
      • acc_norm: 0.8832901812387971
      • acc_norm_stderr: 0.003204180072942386
    • harness|hendrycksTest-abstract_algebra|5:
      • acc: 0.29
      • acc_stderr: 0.045604802157206845
      • acc_norm: 0.29
      • acc_norm_stderr: 0.045604802157206845
    • 其他任务结果详见完整文档。

配置详情

• 配置名称：
  • harness_arc_challenge_25
  • harness_gsm8k_5
  • harness_hellaswag_10
  • harness_hendrycksTest_5
• 数据文件：
  • 每个配置包含不同分割的数据文件，如 2023_12_30T10_37_31.144235 和 latest。
  • 数据文件路径示例：
    • **/details_harness|arc:challenge|25_2023-12-30T10-37-31.144235.parquet
    • **/details_harness|gsm8k|5_2023-12-30T10-37-31.144235.parquet
    • **/details_harness|hellaswag|10_2023-12-30T10-37-31.144235.parquet
    • **/details_harness|hendrycksTest-abstract_algebra|5_2023-12-30T10-37-31.144235.parquet
    • 其他任务数据文件路径详见完整文档。