OALL/details_aubmindlab__aragpt2-large

该数据集是在评估模型aubmindlab/aragpt2-large时自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行的结果作为一个特定的分割存储在配置中，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，还有一个名为"results"的配置存储了所有运行的聚合结果。

原始信息汇总

数据集概述

数据集名称

• pretty_name: Evaluation run of aubmindlab/aragpt2-large

数据集创建

• 创建背景: 自动创建于模型aubmindlab/aragpt2-large的评估运行过程中。
• 数据组成: 包含136个配置，每个配置对应一个评估任务。
• 创建次数: 数据集由1次运行创建，每次运行作为一个特定的分割存储，分割名使用运行的时间戳命名。
• 特殊分割: 存在一个名为"results"的额外配置，存储所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_aubmindlab__aragpt2-large", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

• 结果详情: 提供了详细的评估结果，包括多个任务的准确率（acc_norm）和标准误差（acc_norm_stderr）。
• 结果范围: 覆盖了从社区知识到专业领域的多个主题，如阿拉伯文化、历史、地理、医学等，以及国际法、哲学、营养学等。

数据集结构

配置详情

• 配置数量: 136个
• 配置内容: 每个配置包含一个特定任务的评估结果，包括准确率和标准误差。

分割详情

• 分割命名: 使用运行的时间戳命名，确保每次运行的数据分割唯一。
• "train"分割: 指向最新的结果，用于即时访问和分析。

使用方法

数据加载

• 加载方式: 使用load_dataset函数加载特定配置和分割的数据。
• 示例代码: 如上所示，指定数据集名称、配置和分割进行加载。

结果访问

• 访问对象: 可以直接访问"results"配置获取所有运行的聚合结果。
• 访问方式: 通过加载数据集并指定相应的配置和分割。