open-llm-leaderboard/details_jpquiroga__Mistral_7B_ties_merge_instruct_open_orca_codeninja

该数据集是在模型[jpquiroga/Mistral_7B_ties_merge_instruct_open_orca_codeninja](https://huggingface.co/jpquiroga/Mistral_7B_ties_merge_instruct_open_orca_codeninja)的评估运行中自动生成的。数据集包含63个配置，每个配置对应一个评估任务。数据集由1次运行创建，每次运行的结果作为特定分割存储在配置中，分割名称使用运行的时间戳。train分割始终指向最新结果。此外，一个名为results的配置存储了所有运行的聚合结果，用于计算和显示在[Open LLM Leaderboard](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)上的聚合指标。

原始信息汇总

数据集概述

数据集基本信息

• 数据集名称: Evaluation run of jpquiroga/Mistral_7B_ties_merge_instruct_open_orca_codeninja
• 创建目的: 自动创建于模型jpquiroga/Mistral_7B_ties_merge_instruct_open_orca_codeninja在Open LLM Leaderboard的评估运行中。
• 数据集组成: 包含63个配置，每个配置对应一个评估任务。
• 数据集来源: 数据集由1次运行创建，每次运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳命名。"train"分割始终指向最新结果。

数据集结构

• 配置类型:

  • 单任务配置: 每个配置对应一个特定的评估任务，如harness_arc_challenge_25、harness_gsm8k_5等。
  • 多任务配置: harness_hendrycksTest_5，包含多个子任务，如abstract_algebra|5、anatomy|5等。

• 数据分割:

  • 时间戳分割: 如2024_04_15T16_23_04.591753，对应特定时间点的数据。
  • 最新分割: latest，指向每个配置的最新数据。

数据集使用方法

• 加载数据: 使用datasets库加载数据集，例如： python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_jpquiroga__Mistral_7B_ties_merge_instruct_open_orca_codeninja", "harness_winogrande_5", split="train")

最新结果

• 结果存储: 结果存储在名为"results"的额外配置中，用于计算和显示Open LLM Leaderboard上的聚合指标。
• 示例结果: 展示了多个任务的准确率(acc)和标准误差(acc_stderr)等指标。

此数据集为研究人员和开发者提供了详细的模型评估数据，有助于理解和改进模型在不同任务上的性能。