OALL/details_openchat__openchat-3.5-0106

Name: OALL/details_openchat__openchat-3.5-0106
Creator: OALL
Published: 2024-07-16 11:19:16
License: 暂无描述

Hugging Face2024-07-16 更新2024-07-22 收录

下载链接：

https://hf-mirror.com/datasets/OALL/details_openchat__openchat-3.5-0106

下载链接

链接失效反馈

官方服务：

资源简介：

该数据集是在模型`openchat/openchat-3.5-0106`的评估运行过程中自动生成的，包含136个配置，每个配置对应一个评估任务。数据集由1次运行生成，每次运行的结果作为一个特定的分割存储，分割名称使用运行的时间戳。此外，数据集还包含一个名为`results`的配置，用于存储所有运行的聚合结果。

The dataset is automatically created during the evaluation run of the model openchat/openchat-3.5-0106. It consists of 136 configurations, each corresponding to one of the evaluated tasks. The dataset has been created from one run, with each run represented as a split named using the timestamp of the run. The train split always points to the latest results. An additional configuration results stores all the aggregated results of the run. The dataset includes detailed accuracy metrics for various tasks, indicating the performance of the model in different domains.

提供机构：

OALL

原始信息汇总

数据集概述

数据集基本信息

名称: Evaluation run of openchat/openchat-3.5-0106
来源: 自动创建于模型 openchat/openchat-3.5-0106 的评估运行过程中。
配置数量: 136 个配置，每个配置对应一个评估任务。
创建方式: 从 1 次运行中创建。每个运行可以在每个配置中找到，并以运行的时间戳命名。
训练数据: "train" 分割始终指向最新的结果。
结果汇总: 额外的 "results" 配置存储所有运行的聚合结果。

数据加载示例

python from datasets import load_dataset data = load_dataset("OALL/details_openchat__openchat-3.5-0106", "lighteval_xstory_cloze_ar_0", split="train")

最新结果

时间戳: 2024-07-16T11:13:24.199158
结果: 包含多个任务的评估结果，具体结果如下：
- all:
  - acc_norm: 0.3878237584371887
  - acc_norm_stderr: 0.03743588759096397
  - acc: 0.5519523494374586
  - acc_stderr: 0.012797478885304737
- community|acva:Algeria|0:
  - acc_norm: 0.5230769230769231
  - acc_norm_stderr: 0.0358596530894741
- community|acva:Ancient_Egypt|0:
  - acc_norm: 0.15873015873015872
  - acc_norm_stderr: 0.020622084464045322
- community|acva:Arab_Empire|0:
  - acc_norm: 0.32075471698113206
  - acc_norm_stderr: 0.028727502957880267
- community|acva:Arabic_Architecture|0:
  - acc_norm: 0.5743589743589743
  - acc_norm_stderr: 0.03549871080367707
- community|acva:Arabic_Art|0:
  - acc_norm: 0.41025641025641024
  - acc_norm_stderr: 0.03531493712326671
- community|acva:Arabic_Astronomy|0:
  - acc_norm: 0.4666666666666667
  - acc_norm_stderr: 0.03581804596782233
- community|acva:Arabic_Calligraphy|0:
  - acc_norm: 0.5215686274509804
  - acc_norm_stderr: 0.031343587064005626
- community|acva:Arabic_Ceremony|0:
  - acc_norm: 0.5621621621621622
  - acc_norm_stderr: 0.036574511913540594
- community|acva:Arabic_Clothing|0:
  - acc_norm: 0.5384615384615384
  - acc_norm_stderr: 0.035791543525445724
- community|acva:Arabic_Culture|0:
  - acc_norm: 0.26666666666666666
  - acc_norm_stderr: 0.03174930436412671
- community|acva:Arabic_Food|0:
  - acc_norm: 0.48717948717948717
  - acc_norm_stderr: 0.03588610523192216
- community|acva:Arabic_Funeral|0:
  - acc_norm: 0.4
  - acc_norm_stderr: 0.050529115263991134
- community|acva:Arabic_Geography|0:
  - acc_norm: 0.6275862068965518
  - acc_norm_stderr: 0.04028731532947558
- community|acva:Arabic_History|0:
  - acc_norm: 0.3076923076923077
  - acc_norm_stderr: 0.03313653039774173
- community|acva:Arabic_Language_Origin|0:
  - acc_norm: 0.6105263157894737
  - acc_norm_stderr: 0.05029529117145393
- community|acva:Arabic_Literature|0:
  - acc_norm: 0.4827586206896552
  - acc_norm_stderr: 0.04164188720169377
- community|acva:Arabic_Math|0:
  - acc_norm: 0.3230769230769231
  - acc_norm_stderr: 0.033575443964031323
- community|acva:Arabic_Medicine|0:
  - acc_norm: 0.4896551724137931
  - acc_norm_stderr: 0.04165774775728763
- community|acva:Arabic_Music|0:
  - acc_norm: 0.2589928057553957
  - acc_norm_stderr: 0.037291986581642324
- community|acva:Arabic_Ornament|0:
  - acc_norm: 0.6358974358974359
  - acc_norm_stderr: 0.03454653867786389
- community|acva:Arabic_Philosophy|0:
  - acc_norm: 0.5793103448275863
  - acc_norm_stderr: 0.0411391498118926
- community|acva:Arabic_Physics_and_Chemistry|0:
  - acc_norm: 0.5333333333333333
  - acc_norm_stderr: 0.03581804596782232
- community|acva:Arabic_Wedding|0:
  - acc_norm: 0.4205128205128205
  - acc_norm_stderr: 0.03544138389303483
- community|acva:Bahrain|0:
  - acc_norm: 0.3333333333333333
  - acc_norm_stderr: 0.07106690545187012
- community|acva:Comoros|0:
  - acc_norm: 0.37777777777777777
  - acc_norm_stderr: 0.07309112127323451
- community|acva:Egypt_modern|0:
  - acc_norm: 0.3894736842105263
  - acc_norm_stderr: 0.05029529117145395
- community|acva:InfluenceFromAncientEgypt|0:
  - acc_norm: 0.6205128205128205
  - acc_norm_stderr: 0.034839592663653586
- community|acva:InfluenceFromByzantium|0:
  - acc_norm: 0.7172413793103448
  - acc_norm_stderr: 0.03752833958003337
- community|acva:InfluenceFromChina|0:
  - acc_norm: 0.27692307692307694
  - acc_norm_stderr: 0.032127058190759304
- community|acva:InfluenceFromGreece|0:
  - acc_norm: 0.6307692307692307
  - acc_norm_stderr: 0.034648411418637566
- community|acva:InfluenceFromIslam|0:
  - acc_norm: 0.3586206896551724
  - acc_norm_stderr: 0.039966295748767186
- community|acva:InfluenceFromPersia|0:
  - acc_norm: 0.72
  - acc_norm_stderr: 0.034038517735870494
- community|acva:InfluenceFromRome|0:
  - acc_norm: 0.5743589743589743
  - acc_norm_stderr: 0.03549871080367708
- community|acva:Iraq|0:
  - acc_norm: 0.49411764705882355
  - acc_norm_stderr: 0.05455069703232772
- community|acva:Islam_Education|0:
  - acc_norm: 0.4717948717948718
  - acc_norm_stderr: 0.03584074674920833
- community|acva:Islam_branches_and_schools|0:
  - acc_norm: 0.5142857142857142
  - acc_norm_stderr: 0.03788942763158507
- community|acva:Islamic_law_system|0:
  - acc_norm: 0.4256410256410256
  - acc_norm_stderr: 0.035498710803677086
- community|acva:Jordan|0:
  - acc_norm: 0.3333333333333333
  - acc_norm_stderr: 0.07106690545187012
- community|acva:Kuwait|0:
  - acc_norm: 0.28888888888888886
  - acc_norm_stderr: 0.06832943242540508
- community|acva:Lebanon|0:
  - acc_norm: 0.24444444444444444
  - acc_norm_stderr: 0.06478835438717001
- community|acva:Libya|0:
  - acc_norm: 0.4888888888888889
  - acc_norm_stderr: 0.07535922203472523
- community|acva:Mauritania|0:
  - acc_norm: 0.4444444444444444
  - acc_norm_stderr: 0.07491109582924915
- community|acva:Mesopotamia_civilization|0:
  - acc_norm: 0.5612903225806452
  - acc_norm_stderr: 0.03998729476451435
- community|acva:Morocco|0:
  - acc_norm: 0.35555555555555557
  - acc_norm_stderr: 0.07216392363431012
- community|acva:Oman|0:
  - acc_norm: 0.2
  - acc_norm_stderr: 0.06030226891555273
- community|acva:Palestine|0:
  - acc_norm: 0.29411764705882354
  - acc_norm_stderr: 0.04971495616050097
- community|acva:Qatar|0:
  - acc_norm: 0.4
  - acc_norm_stderr: 0.07385489458759964
- community|acva:Saudi_Arabia|0:
  - acc_norm: 0.3333333333333333
  - acc_norm_stderr: 0.03384487217112065
- community|acva:Somalia|0:
  - acc_norm: 0.37777777777777777
  - acc_norm_stderr: 0.07309112127323451
- community|acva:Sudan|0:
  - acc_norm: 0.35555555555555557
  - acc_norm_stderr: 0.07216392363431012
- community|acva:Syria|0:
  - acc_norm: 0.4
  - acc_norm_stderr: 0.0738548945875

搜集汇总

数据集介绍

构建方式

在大规模语言模型评估的学术实践中，评估结果的系统化记录与复现至关重要。OALL/details_openchat__openchat-3.5-0106 数据集正是在对 openchat/openchat-3.5-0106 模型进行自动化评估的过程中被构建而成。该数据集囊括了136个不同的配置，每一个配置都精确对应一项被评估的具体任务。这些配置源自单次评估运行，每次运行的结果被存储为各自配置下的独立分割（split），并以运行的时间戳命名，而“train”分割则始终指向最新一次的评估结果。此外，数据集还包含一个名为“results”的额外配置，用于汇总所有运行的整体评估指标。

特点

该数据集最显著的特征在于其精细化的任务划分与结构化的结果存储机制。136个配置覆盖了从阿拉伯语文化知识（如acva系列）到阿拉伯语考试（如alghafa系列）以及阿拉伯语MMLU等多样化的评估场景，每个任务均提供了acc与acc_norm等关键性能指标及其标准误，为模型能力的细粒度分析提供了坚实的数据基础。数据集通过时间戳分割与“train”分割的动态指向，自然地实现了结果版本管理，使研究者能够轻松追溯不同时间点的模型表现。这种设计不仅保障了评估过程的透明性，也极大便利了模型改进过程中的对比分析。

使用方法

研究者可借助HuggingFace的datasets库便捷地加载该数据集。例如，通过指定配置名称（如“lighteval_xstory_cloze_ar_0”）和所需分割（如“train”），即可获取特定任务的评估细节。代码示例如下：from datasets import load_dataset; data = load_dataset("OALL/details_openchat__openchat-3.5-0106", "lighteval_xstory_cloze_ar_0", split="train")。若要访问整体汇总结果，则可加载“results”配置。最新评估结果以JSON格式存储在仓库中，可直接通过链接查看。该数据集适用于模型性能的基准测试、跨任务能力对比以及评估结果的复现验证等场景。

背景与挑战

背景概述

随着大规模语言模型在自然语言处理领域的广泛应用，如何系统性地评估模型在多样化任务上的表现成为关键议题。OALL/details_openchat__openchat-3.5-0106数据集由OpenChat团队于2024年创建，旨在对openchat-3.5-0106模型进行全面的自动化评估。该数据集包含136个配置，每个配置对应一项评估任务，覆盖从阿拉伯文化知识到多学科考试等多元领域。其核心研究问题在于通过细粒度、可复现的评估框架，量化模型在不同语言和文化背景下的推理与理解能力。该数据集通过结构化的运行记录和结果聚合，为社区提供了模型性能的透明视角，对推动多语言评估基准的发展具有重要影响力。

当前挑战

该数据集所解决的领域挑战在于，现有评估体系多聚焦于英语等主流语言，缺乏对阿拉伯语等低资源语言模型能力的系统性评测。构建过程中，面临的主要挑战包括：其一，需要设计覆盖阿拉伯文化、历史、科学等多维度的任务集，以确保评估的全面性与文化代表性；其二，模型在不同子任务上的性能波动显著，例如在阿拉伯地理任务上准确率达0.6276，而在也门相关任务上仅0.1，揭示了模型对区域知识的处理不均；其三，自动化评估流程需处理136个配置的并行运行与结果聚合，对计算资源与数据管道的稳定性提出了高要求。

常用场景

经典使用场景

在大型语言模型评估领域，OALL/details_openchat__openchat-3.5-0106数据集扮演着举足轻重的角色。该数据集是在对openchat-3.5-0106模型进行系统性评测过程中自动生成的，涵盖了136个不同的任务配置，每个配置对应一项被评估的具体任务。研究者通过加载该数据集中的特定任务配置与运行时间戳划分，能够精确复现模型在某一时刻的推理表现。其经典使用场景在于为语言模型的性能比较提供一个标准化、细粒度的评测框架，尤其适用于跨任务、跨领域的多维度能力分析，例如从阿拉伯语文化知识到科学推理的全面考察。

衍生相关工作

围绕该数据集衍生了诸多经典工作，尤其在阿拉伯语自然语言处理与多任务评估领域。研究者基于其细粒度任务配置，开发了针对特定文化知识子集的增强训练方法，如利用Arabic MMLU中的医学与法学任务来提升模型的专业领域素养。同时，该数据集的标准化评估框架启发了后续工作，例如构建跨语言推理基准时，借鉴其任务划分与结果聚合策略。此外，部分工作聚焦于分析模型在不同阿拉伯方言与标准阿拉伯语之间的表现差异，该数据集中的meta_ar_dialects与meta_ar_msa配置为此类研究提供了不可或缺的数据支撑。

数据集最近研究