open-llm-leaderboard/details_ToastyPigeon__smolphin-test-stack-sorted

该数据集是在模型ToastyPigeon/smolphin-test-stack-sorted在Open LLM Leaderboard上的评估运行期间自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行在每个配置中表示为特定的拆分，使用运行的时间戳命名。train拆分始终指向最新结果。一个额外的配置results存储了运行的所有聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还包括一个Python代码片段，用于加载数据集和特定运行的最新结果。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of ToastyPigeon/smolphin-test-stack-sorted

数据集来源

• 该数据集是自动创建的，源自模型ToastyPigeon/smolphin-test-stack-sorted在Open LLM Leaderboard上的评估运行。

数据集组成

• 配置数量: 63个
• 数据来源: 来自1次运行
• 数据结构: 每个配置对应一个评估任务，每个运行以时间戳命名的特定分割存储。"train"分割指向最新结果。

特殊配置

• "results"配置: 存储所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_ToastyPigeon__smolphin-test-stack-sorted", "harness_winogrande_5", split="train")

最新结果

• 最新结果来自run 2024-03-29T21:12:59.929577。

结果示例

python { "all": { "acc": 0.2693886134221748, "acc_stderr": 0.03126598314102477, "acc_norm": 0.2709400437138604, "acc_norm_stderr": 0.03203501471283497, "mc1": 0.2386780905752754, "mc1_stderr": 0.014922629695456418, "mc2": 0.3747768935887674, "mc2_stderr": 0.013984674618562865 }, ... }

数据集配置详情

• 配置名称: harness_arc_challenge_25, harness_gsm8k_5, harness_hellaswag_10, harness_hendrycksTest_5等。
• 数据文件路径: 每个配置包含多个数据文件，路径以时间戳和配置名命名。

以上信息提供了数据集的基本结构、来源、组成以及如何加载和使用数据集的详细指南。