OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B
收藏Hugging Face2024-05-30 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型NousResearch/Nous-Hermes-2-SOLAR-10.7B时自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果。
该数据集是在评估模型NousResearch/Nous-Hermes-2-SOLAR-10.7B时自动创建的。数据集由136个配置组成，每个配置对应一个评估任务。数据集是从1次运行中创建的，每次运行都可以在特定配置中找到，分割名称使用运行的时间戳命名。train分割始终指向最新的结果。此外，还有一个results配置存储了所有运行的聚合结果。
提供机构：
OALL原始信息汇总
数据集概述
数据集基本信息
- 名称: Evaluation run of NousResearch/Nous-Hermes-2-SOLAR-10.7B
- 来源: 自动创建于模型评估过程中，模型为 NousResearch/Nous-Hermes-2-SOLAR-10.7B。
- 组成: 包含136个配置，每个配置对应一个评估任务。
- 创建: 数据集从1次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。
- 结果汇总: 一个额外的配置"results"存储所有运行的聚合结果。
数据加载示例
python from datasets import load_dataset data = load_dataset("OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B", "lighteval_xstory_cloze_ar_0", split="train")
最新结果
- 时间戳: 2024-05-30T22:24:25.645297
- 结果: 包含多个任务的准确率（acc_norm）和标准误差（acc_norm_stderr）。例如：
- 任务: community|acva:Algeria|0
- acc_norm: 0.6461538461538462
- acc_norm_stderr: 0.03433004254147037
- 任务: community|acva:Ancient_Egypt|0
- acc_norm: 0.37142857142857144
- acc_norm_stderr: 0.027267803028895005
- 任务: community|acva:Arab_Empire|0
- acc_norm: 0.33584905660377357
- acc_norm_stderr: 0.029067220146644826
- 任务: community|acva:Arabic_Architecture|0
- acc_norm: 0.5897435897435898
- acc_norm_stderr: 0.035314937123266714
- 任务: community|acva:Arabic_Art|0
- acc_norm: 0.358974358974359
- acc_norm_stderr: 0.03444042881521377
- 任务: community|acva:Arabic_Astronomy|0
- acc_norm: 0.46153846153846156
- acc_norm_stderr: 0.0357915435254457
- 任务: community|acva:Arabic_Calligraphy|0
- acc_norm: 0.5137254901960784
- acc_norm_stderr: 0.03136096744694241
- 任务: community|acva:Arabic_Ceremony|0
- acc_norm: 0.6054054054054054
- acc_norm_stderr: 0.0360321188626959
- 任务: community|acva:Arabic_Clothing|0
- acc_norm: 0.6153846153846154
- acc_norm_stderr: 0.03492896993742303
- 任务: community|acva:Arabic_Culture|0
- acc_norm: 0.7538461538461538
- acc_norm_stderr: 0.03092742837122566
- 任务: community|acva:Arabic_Food|0
- acc_norm: 0.6153846153846154
- acc_norm_stderr: 0.03492896993742303
- 任务: community|acva:Arabic_Funeral|0
- acc_norm: 0.45263157894736844
- acc_norm_stderr: 0.05133911377354486
- 任务: community|acva:Arabic_Geography|0
- acc_norm: 0.5724137931034483
- acc_norm_stderr: 0.041227371113703316
- 任务: community|acva:Arabic_History|0
- acc_norm: 0.4205128205128205
- acc_norm_stderr: 0.03544138389303483
- 任务: community|acva:Arabic_Language_Origin|0
- acc_norm: 0.631578947368421
- acc_norm_stderr: 0.049753325624911644
- 任务: community|acva:Arabic_Literature|0
- acc_norm: 0.6551724137931034
- acc_norm_stderr: 0.03960933549451207
- 任务: community|acva:Arabic_Math|0
- acc_norm: 0.3641025641025641
- acc_norm_stderr: 0.03454653867786388
- 任务: community|acva:Arabic_Medicine|0
- acc_norm: 0.5655172413793104
- acc_norm_stderr: 0.04130740879555497
- 任务: community|acva:Arabic_Music|0
- acc_norm: 0.26618705035971224
- acc_norm_stderr: 0.037622409350890895
- 任务: community|acva:Arabic_Ornament|0
- acc_norm: 0.7076923076923077
- acc_norm_stderr: 0.032654383937495125
- 任务: community|acva:Arabic_Philosophy|0
- acc_norm: 0.5655172413793104
- acc_norm_stderr: 0.04130740879555497
- 任务: community|acva:Arabic_Physics_and_Chemistry|0
- acc_norm: 0.5641025641025641
- acc_norm_stderr: 0.035601666623466366
- 任务: community|acva:Arabic_Wedding|0
- acc_norm: 0.5794871794871795
- acc_norm_stderr: 0.03544138389303482
- 任务: community|acva:Bahrain|0
- acc_norm: 0.5333333333333333
- acc_norm_stderr: 0.0752101433090355
- 任务: community|acva:Comoros|0
- acc_norm: 0.5111111111111111
- acc_norm_stderr: 0.07535922203472523
- 任务: community|acva:Egypt_modern|0
- acc_norm: 0.5684210526315789
- acc_norm_stderr: 0.051085926733089475
- 任务: community|acva:InfluenceFromAncientEgypt|0
- acc_norm: 0.558974358974359
- acc_norm_stderr: 0.0356473293185358
- 任务: community|acva:InfluenceFromByzantium|0
- acc_norm: 0.6827586206896552
- acc_norm_stderr: 0.03878352372138623
- 任务: community|acva:InfluenceFromChina|0
- acc_norm: 0.4
- acc_norm_stderr: 0.03517262290563288
- 任务: community|acva:InfluenceFromGreece|0
- acc_norm: 0.6307692307692307
- acc_norm_stderr: 0.034648411418637566
- 任务: community|acva:InfluenceFromIslam|0
- acc_norm: 0.45517241379310347
- acc_norm_stderr: 0.04149886942192117
- 任务: community|acva:InfluenceFromPersia|0
- acc_norm: 0.7085714285714285
- acc_norm_stderr: 0.03444952656229018
- 任务: community|acva:InfluenceFromRome|0
- acc_norm: 0.558974358974359
- acc_norm_stderr: 0.0356473293185358
- 任务: community|acva:Iraq|0
- acc_norm: 0.611764705882353
- acc_norm_stderr: 0.05317409082203827
- 任务: community|acva:Islam_Education|0
- acc_norm: 0.47692307692307695
- acc_norm_stderr: 0.03585965308947409
- 任务: community|acva:Islam_branches_and_schools|0
- acc_norm: 0.4514285714285714
- acc_norm_stderr: 0.037725628985298354
- 任务: community|acva:Islamic_law_system|0
- acc_norm: 0.4256410256410256
- acc_norm_stderr: 0.035498710803677086
- 任务: community|acva:Jordan|0
- acc_norm: 0.4222222222222222
- acc_norm_stderr: 0.07446027270295806
- 任务: community|acva:Kuwait|0
- acc_norm: 0.28888888888888886
- acc_norm_stderr: 0.06832943242540508
- 任务: community|acva:Lebanon|0
- acc_norm: 0.26666666666666666
- acc_norm_stderr: 0.06666666666666667
- 任务: community|acva:Libya|0
- acc_norm: 0.5777777777777777
- acc_norm_stderr: 0.07446027270295806
- 任务: community|acva:Mauritania|0
- acc_norm: 0.4888888888888889
- acc_norm_stderr: 0.07535922203472523
- 任务: community|acva:Mesopotamia_civilization|0
- acc_norm: 0.6
- acc_norm_stderr: 0.03947710169758611
- 任务: community|acva:Morocco|0
- acc_norm: 0.6444444444444445
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Oman|0
- acc_norm: 0.5111111111111111
- acc_norm_stderr: 0.07535922203472523
- 任务: community|acva:Palestine|0
- acc_norm: 0.49411764705882355
- acc_norm_stderr: 0.05455069703232772
- 任务: community|acva:Qatar|0
- acc_norm: 0.4444444444444444
- acc_norm_stderr: 0.07491109582924915
- 任务: community|acva:Saudi_Arabia|0
- acc_norm: 0.4256410256410256
- acc_norm_stderr: 0.035498710803677065
- 任务: community|acva:Somalia|0
- acc_norm: 0.35555555555555557
- acc_norm_stderr: 0.07216392363431012
- 任务: community|acva:Sudan|0
- acc_norm: 0.4444444444444444
- acc_norm_stderr: 0.07491109582924915
- 任务: community|acva:Syria|0
- acc_norm: 0.4444444444444444
- acc_norm_stderr: 0.0749110958292
- 任务: community|acva:Algeria|0
搜集汇总
数据集介绍
构建方式
该数据集是在对NousResearch/Nous-Hermes-2-SOLAR-10.7B模型进行评估的过程中自动生成的。数据集共包含136个配置，每个配置对应一项被评估的任务。数据来源于一次完整的评估运行，每次运行的结果被存储为每个配置中的一个独立子集，子集以运行的时间戳命名，而'train'子集始终指向最新一次评估的结果。此外，还设有名为'results'的额外配置，用于汇总所有评估运行的聚合结果。
特点
数据集的结构设计精巧，每个配置独立对应一个评估任务，使得不同任务的评估结果彼此隔离，便于进行针对性分析。通过时间戳命名的子集机制，用户可以追溯每次评估运行的详细结果，而'train'子集则自动指向最新数据，保证了数据时效性。'results'配置进一步提供了全局视角，汇总了所有任务的评估指标，为模型性能的综合评估提供了便利。
使用方法
使用该数据集时，可通过HuggingFace的datasets库进行加载。例如，要加载某个特定任务（如'lighteval_xstory_cloze_ar_0'）的最新评估结果，可使用'load_dataset'函数并指定配置名称和'split="train"'参数。若需访问历史运行数据，则可通过对应的时间戳子集名称进行加载。此外，'results'配置可用于获取所有任务的聚合评估结果，便于进行整体性能分析。
背景与挑战
背景概述
该数据集源自对NousResearch/Nous-Hermes-2-SOLAR-10.7B模型的自动化评估流程，由OALL团队于2024年5月创建，旨在系统性地衡量该模型在多元任务上的表现。随着大语言模型在自然语言处理领域的广泛应用，如何精准评估其在不同语言、文化及知识领域的能力成为关键研究问题。该数据集涵盖136个配置，对应136个评估任务，覆盖阿拉伯语文化知识、方言理解、情感分析、学术考试等多个维度，为模型在低资源语言与跨文化场景下的性能提供了细粒度洞察。其影响力体现在推动了多语言评估基准的标准化，尤其为阿拉伯语NLP社区提供了可复现的评测框架，助力模型在特定语言和文化背景下的优化与部署。
当前挑战
该数据集面临的核心挑战首先在于解决多语言与跨文化评估的领域难题：大语言模型在阿拉伯语等低资源语言上的表现往往受限于训练数据的稀缺性与文化歧义，导致在细粒度任务（如阿拉伯语方言识别、历史知识问答）上准确率波动显著。其次，构建过程中需应对任务异构性与评估一致性挑战——136个配置涵盖从多选题到情感分类的多样格式，确保各任务间评估标准统一且结果可比性高，对数据清洗、标注质量与推理逻辑提出了严苛要求。此外，模型在特定子任务（如阿拉伯音乐、现代埃及文化）上的低准确率揭示了现有评估体系在捕捉文化特异性与动态知识演化方面的不足，亟需更精细化的数据集设计与迭代策略。
常用场景
经典使用场景
在自然语言处理与多语言模型评估的交叉领域中，OALL/details_NousResearch__Nous-Hermes-2-SOLAR-10.7B数据集被广泛用于对大型语言模型在阿拉伯语环境下的综合能力进行细粒度评测。该数据集囊括了136项任务配置，涵盖了从阿拉伯方言理解、文化常识到学科知识（如医学、数学、物理学）的多元维度，为研究者提供了一个系统性的基准测试平台。其经典使用场景在于，通过加载特定任务配置（如lighteval_xstory_cloze_ar_0），能够精准测量模型在阿拉伯语叙事推理、情感分析、多选题问答等子任务上的表现，从而揭示模型在多语言、低资源场景下的泛化瓶颈与优势。
解决学术问题
该数据集有效回应了当前学术界对大型语言模型在非英语语言，尤其是阿拉伯语上评估标准缺失的困境。传统评估基准多集中于英语，导致模型在跨语言迁移时的真实能力被高估或低估。通过提供涵盖阿拉伯文化、历史、科学等多领域的标准化测试集，该数据解决了如何量化模型对阿拉伯语语境理解深度、事实性知识掌握程度以及文化敏感性的学术难题。其意义在于，它促使研究者从单一语言评估转向多语言公平性比较，推动了低资源语言评估方法论的发展，并为后续构建更全面的多语言评测体系奠定了数据基础。
衍生相关工作
围绕该数据集已衍生出一系列具有影响力的学术成果，尤其在多语言模型评估框架的构建方面。例如，研究者基于其任务配置开发了自动化的模型评测流水线，如LightEval工具，实现了对不同模型版本（如Nous-Hermes-2-SOLAR-10.7B）在统一基准下的可重复性评估。此外，数据集中阿拉伯语MMLU子集的引入，催生了针对阿拉伯语知识推理的专项研究，相关工作探讨了如何通过提示工程或领域微调来提升模型在低资源学科上的表现。这些衍生工作不仅深化了对模型能力的理解，也为跨语言迁移学习提供了实证支持。
以上内容由遇见数据集搜集并总结生成
