open-llm-leaderboard/details_MaziyarPanahi__Llama-3-8B-Instruct-v0.1

该数据集是在MaziyarPanahi/Llama-3-8B-Instruct-v0.1模型在Open LLM排行榜上进行评估运行期间自动创建的。数据集包含63个配置，每个配置对应一个评估任务。它由3次运行创建，每次运行作为一个特定分割，以运行的时间戳命名。train分割始终指向最新结果。此外，results配置存储了运行的所有聚合结果，用于在排行榜上计算和显示聚合指标。数据集包括针对不同任务的各种配置，每个配置具有多个对应于不同时间戳和最新结果的分割。

原始信息汇总

数据集概述

数据集名称

• Evaluation run of MaziyarPanahi/Llama-3-8B-Instruct-v0.1

数据集描述

• 创建目的: 该数据集是在评估模型MaziyarPanahi/Llama-3-8B-Instruct-v0.1的过程中自动创建的。
• 关联平台: 与Open LLM Leaderboard相关联。
• 数据结构: 包含63个配置，每个配置对应一个评估任务。
• 数据来源: 数据集由3次运行创建，每次运行对应一个特定的分割，分割名称使用运行的时间戳命名。
• 特殊配置: 存在一个名为"results"的额外配置，用于存储所有运行的聚合结果，用于计算和显示聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_MaziyarPanahi__Llama-3-8B-Instruct-v0.1", "harness_gsm8k_5", split="train")

最新结果

• 结果来源: 来自run 2024-05-06T15:18:31.530725。
• 结果内容: 包括总体和特定任务的准确率及标准误差。

配置详情

配置列表

• harness_arc_challenge_25
• harness_gsm8k_5
• harness_hellaswag_10
• harness_hendrycksTest_5
• harness_hendrycksTest_abstract_algebra_5
• harness_hendrycksTest_anatomy_5
• harness_hendrycksTest_astronomy_5
• harness_hendrycksTest_business_ethics_5
• harness_hendrycksTest_clinical_knowledge_5
• harness_hendrycksTest_college_biology_5
• harness_hendrycksTest_college_chemistry_5
• harness_hendrycksTest_college_computer_science_5
• harness_hendrycksTest_college_mathematics_5
• harness_hendrycksTest_college_medicine_5
• harness_hendrycksTest_college_physics_5
• harness_hendrycksTest_computer_security_5
• harness_hendrycksTest_conceptual_physics_5
• harness_hendrycksTest_econometrics_5
• harness_hendrycksTest_electrical_engineering_5
• harness_hendrycksTest_elementary_mathematics_5
• harness_hendrycksTest_formal_logic_5

数据文件详情

• 每个配置包含多个分割，每个分割对应一个时间戳或"latest"。
• 数据文件格式为parquet。
• 示例路径如：**/details_harness|gsm8k|5_2024-05-06T15-18-31.530725.parquet。