OALL/details_core42__jais-30b-chat-v3

该数据集是在模型core42/jais-30b-chat-v3的评估运行期间自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行作为每个配置中的一个特定分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，还有一个名为results的配置，存储了所有运行的聚合结果。README还提供了如何使用Python中的datasets库加载运行细节的示例。

原始信息汇总

数据集概述

• 数据集名称: Evaluation run of core42/jais-30b-chat-v3
• 创建目的: 自动创建于模型core42/jais-30b-chat-v3的评估运行期间。
• 数据集结构: 包含136个配置，每个配置对应一个评估任务。
• 数据集生成: 由1次运行创建，每次运行作为一个特定的分割，分割名称使用运行的时间戳命名。"train"分割始终指向最新结果。
• 额外配置: 有一个名为"results"的配置，存储所有运行的聚合结果。

数据集加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_core42__jais-30b-chat-v3", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 结果来源: 来自2024-05-21T15:00:34.426318的运行。
• 结果内容: 包含多个任务的评估结果，每个任务的结果可在"results"配置和每个评估的"latest"分割中找到。

结果示例

python { "all": { "acc_norm": 0.4474907115407058, "acc_norm_stderr": 0.03765794544215593, "acc": 0.7816015883520847, "acc_stderr": 0.010632343054700507 }, ... }