open-llm-leaderboard/details_JCX-kcuf__Llama-2-7b-chat-hf-gpt-4-80k-base_lora

该数据集是在模型[JCX-kcuf/Llama-2-7b-chat-hf-gpt-4-80k-base_lora](https://huggingface.co/JCX-kcuf/Llama-2-7b-chat-hf-gpt-4-80k-base_lora)在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的评估运行过程中自动创建的。数据集由63个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置存储了所有运行的聚合结果，并用于计算和显示[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。

原始信息汇总

数据集概述

数据集名称: Evaluation run of JCX-kcuf/Llama-2-7b-chat-hf-gpt-4-80k-base_lora

创建目的: 该数据集是自动创建的，用于评估模型JCX-kcuf/Llama-2-7b-chat-hf-gpt-4-80k-base_lora在Open LLM Leaderboard上的表现。

数据集组成:

• 配置数量: 63个
• 每个配置对应任务: 每个配置对应一个评估任务
• 数据来源: 数据集由1次运行创建，每次运行对应一个特定的分割，分割名称使用运行的时间戳命名。
• 额外配置: “results”配置存储了所有运行的聚合结果，用于计算和显示聚合指标。

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_JCX-kcuf__Llama-2-7b-chat-hf-gpt-4-80k-base_lora", "harness_winogrande_5", split="train")

最新结果

• 最新结果日期: 2024-03-11T18:17:28.833424
• 结果文件: latest results from run 2024-03-11T18:17:28.833424

结果详情

• 整体准确率: 0.4813122519116383
• 整体准确率标准误差: 0.0343492414022233
• 归一化准确率: 0.4880518599661582
• 归一化准确率标准误差: 0.0351286958859508
• 其他任务结果: 包含多个任务的具体准确率及标准误差，如harness|arc:challenge|25, harness|hellaswag|10等。

数据集配置详情

• 配置名称: harness_arc_challenge_25, harness_gsm8k_5, harness_hellaswag_10, harness_hendrycksTest_5等
• 数据文件路径: 每个配置包含多个数据文件，路径根据具体任务和时间戳命名。

使用说明

• 用户可以通过提供的加载示例代码访问和加载数据集中的特定配置和分割。
• 数据集的“train”分割始终指向最新的结果。