open-llm-leaderboard/details_xiaol__RWKV-v4-raven-14B-one-state

该数据集是在模型 xiaol/RWKV-v4-raven-14B-one-state 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 61 个配置组成，每个配置对应一个被评估的任务。数据集包含一次运行的结果，每次运行的数据存储在一个以运行时间戳命名的特定分割中。train 分割始终指向最新的结果。此外，还有一个 results 配置，用于存储所有运行结果的聚合数据，用于计算和显示在 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 Hugging Face datasets 库加载数据集的示例，并包含了特定运行的最新结果。

原始信息汇总

数据集概述

数据集摘要

该数据集是在评估模型 xiaol/RWKV-v4-raven-14B-one-state 在 Open LLM Leaderboard 上的自动创建的。数据集包含 61 个配置，每个配置对应一个评估任务。数据集从 1 次运行中创建，每个运行可以在每个配置中找到特定的拆分，拆分名称使用运行的 timestamp。"train" 拆分总是指向最新的结果。

数据集结构

数据集包含多个配置，每个配置对应不同的评估任务。以下是部分配置的示例：

• harness_arc_challenge_25

  • 拆分：2023_10_09T21_38_42.028709
  • 路径：**/details_harness|arc:challenge|25_2023-10-09T21-38-42.028709.parquet
  • 拆分：latest
  • 路径：**/details_harness|arc:challenge|25_2023-10-09T21-38-42.028709.parquet

• harness_hellaswag_10

  • 拆分：2023_10_09T21_38_42.028709
  • 路径：**/details_harness|hellaswag|10_2023-10-09T21-38-42.028709.parquet
  • 拆分：latest
  • 路径：**/details_harness|hellaswag|10_2023-10-09T21-38-42.028709.parquet

• harness_hendrycksTest_5

  • 拆分：2023_10_09T21_38_42.028709
  • 路径：多个路径，例如：
    • **/details_harness|hendrycksTest-abstract_algebra|5_2023-10-09T21-38-42.028709.parquet
    • **/details_harness|hendrycksTest-anatomy|5_2023-10-09T21-38-42.028709.parquet
    • ...

最新结果

以下是 2023-10-09T21:38:42.028709 运行的最新结果：

python { "all": { "acc": 0.33924685524661535, "acc_stderr": 0.03400094010286168, "acc_norm": 0.3432206955736541, "acc_norm_stderr": 0.03399555734342263, "mc1": 0.2484700122399021, "mc1_stderr": 0.015127427096520681, "mc2": 0.37298301233557335, "mc2_stderr": 0.014007983938605419 }, "harness|arc:challenge|25": { "acc": 0.41467576791808874, "acc_stderr": 0.014397070564409172, "acc_norm": 0.45733788395904434, "acc_norm_stderr": 0.01455810654392407 }, "harness|hellaswag|10": { "acc": 0.5230033857797252, "acc_stderr": 0.004984497871025246, "acc_norm": 0.714797849034057, "acc_norm_stderr": 0.00450587908460685 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.23, "acc_stderr": 0.04229525846816507, "acc_norm": 0.23, "acc_norm_stderr": 0.04229525846816507 }, ... }

数据加载示例

要加载特定运行的详细信息，可以使用以下代码：

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_xiaol__RWKV-v4-raven-14B-one-state", "harness_truthfulqa_mc_0", split="train")