open-llm-leaderboard/details_0-hero__Matter-0.1-7B-boost-DPO-preview

该数据集是在模型 0-hero/Matter-0.1-7B-boost-DPO-preview 在 Open LLM Leaderboard 上的评估运行期间自动创建的。数据集由 63 个配置组成，每个配置对应一个被评估的任务。它包含一次运行的结果，每次运行都作为每个配置中的一个特定分割存储。train 分割始终指向最新的结果。一个名为 results 的额外配置存储了所有运行的聚合结果，这些结果用于计算和显示 Open LLM Leaderboard 上的聚合指标。README 还提供了如何使用 Python 中的 `datasets` 库加载数据集的示例。

原始信息汇总

数据集概述

数据集名称: Evaluation run of 0-hero/Matter-0.1-7B-boost-DPO-preview

数据集描述: 该数据集是在评估模型0-hero/Matter-0.1-7B-boost-DPO-preview在Open LLM Leaderboard上的运行过程中自动创建的。

数据集构成:

• 配置数量: 63个
• 每个配置对应一个评估任务
• 数据来源: 1次运行
• 数据分割: 每个配置中的特定分割，以运行的时间戳命名
• 训练分割: 始终指向最新结果
• 额外配置: "results"，存储所有运行结果的聚合结果，用于计算和显示聚合指标

数据集加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_0-hero__Matter-0.1-7B-boost-DPO-preview", "harness_winogrande_5", split="train")

最新结果

最新结果来自2024-03-22T09:01:45.587641的运行，包括多个任务的评估结果，例如：

• harness|arc:challenge|25: 准确率(acc)为0.6194539249146758，标准化准确率(acc_norm)为0.6459044368600683。
• harness|hellaswag|10: 准确率(acc)为0.6414060944035053，标准化准确率(acc_norm)为0.8287193786098387。
• harness|hendrycksTest-abstract_algebra|5: 准确率(acc)为0.28，标准化准确率(acc_norm)为0.28。
• harness|winogrande|5: 准确率(acc)为0.7584846093133386。
• harness|gsm8k|5: 准确率(acc)为0.5041698256254739。

这些结果用于在Open LLM Leaderboard上展示模型的性能。