open-llm-leaderboard-old/details_Open-Orca__OpenOrcaxOpenChat-Preview2-13B
收藏Hugging Face2023-10-16 更新2024-06-22 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard-old/details_Open-Orca__OpenOrcaxOpenChat-Preview2-13B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在Open LLM Leaderboard上对模型Open-Orca/OpenOrcaxOpenChat-Preview2-13B进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集是从7次运行中创建的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，名为"results"的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载运行详细信息的示例。
该数据集是在Open LLM Leaderboard上对模型Open-Orca/OpenOrcaxOpenChat-Preview2-13B进行评估时自动创建的。数据集由64个配置组成，每个配置对应一个评估任务。数据集是从7次运行中创建的，每次运行在每个配置中表示为特定的分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，名为"results"的配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。README还提供了如何使用`datasets`库中的`load_dataset`函数加载运行详细信息的示例。
原始信息汇总
数据集概述
数据集摘要
该数据集是在评估模型 Open-Orca/OpenOrcaxOpenChat-Preview2-13B 在 Open LLM Leaderboard 上的运行过程中自动创建的。数据集包含 64 个配置，每个配置对应一个评估任务。数据集由 7 次运行创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。"train" 分割始终指向最新的结果。
数据集结构
数据集包含多个配置，每个配置对应不同的评估任务。以下是部分配置及其数据文件的详细信息：
-
harness_arc_challenge_25
- 分割：2023_08_09T10_54_28.159442
- 路径：
**/details_harness|arc:challenge|25_2023-08-09T10:54:28.159442.parquet
- 路径：
- 分割：2023_08_09T11_01_47.680717
- 路径：
**/details_harness|arc:challenge|25_2023-08-09T11:01:47.680717.parquet
- 路径：
- 分割：2023_08_09T19_53_44.921082
- 路径：
**/details_harness|arc:challenge|25_2023-08-09T19:53:44.921082.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|arc:challenge|25_2023-08-09T19:53:44.921082.parquet
- 路径：
- 分割：2023_08_09T10_54_28.159442
-
harness_drop_3
- 分割：2023_09_17T22_24_47.406808
- 路径：
**/details_harness|drop|3_2023-09-17T22-24-47.406808.parquet
- 路径：
- 分割：2023_10_13T14_08_03.258972
- 路径：
**/details_harness|drop|3_2023-10-13T14-08-03.258972.parquet
- 路径：
- 分割：2023_10_14T08_18_52.745685
- 路径：
**/details_harness|drop|3_2023-10-14T08-18-52.745685.parquet
- 路径：
- 分割：2023_10_16T12_28_11.016345
- 路径：
**/details_harness|drop|3_2023-10-16T12-28-11.016345.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|drop|3_2023-10-16T12-28-11.016345.parquet
- 路径：
- 分割：2023_09_17T22_24_47.406808
-
harness_gsm8k_5
- 分割：2023_09_17T22_24_47.406808
- 路径：
**/details_harness|gsm8k|5_2023-09-17T22-24-47.406808.parquet
- 路径：
- 分割：2023_10_13T14_08_03.258972
- 路径：
**/details_harness|gsm8k|5_2023-10-13T14-08-03.258972.parquet
- 路径：
- 分割：2023_10_14T08_18_52.745685
- 路径：
**/details_harness|gsm8k|5_2023-10-14T08-18-52.745685.parquet
- 路径：
- 分割：2023_10_16T12_28_11.016345
- 路径：
**/details_harness|gsm8k|5_2023-10-16T12-28-11.016345.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|gsm8k|5_2023-10-16T12-28-11.016345.parquet
- 路径：
- 分割：2023_09_17T22_24_47.406808
-
harness_hellaswag_10
- 分割：2023_08_09T10_54_28.159442
- 路径：
**/details_harness|hellaswag|10_2023-08-09T10:54:28.159442.parquet
- 路径：
- 分割：2023_08_09T11_01_47.680717
- 路径：
**/details_harness|hellaswag|10_2023-08-09T11:01:47.680717.parquet
- 路径：
- 分割：2023_08_09T19_53_44.921082
- 路径：
**/details_harness|hellaswag|10_2023-08-09T19:53:44.921082.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|hellaswag|10_2023-08-09T19:53:44.921082.parquet
- 路径：
- 分割：2023_08_09T10_54_28.159442
-
harness_hendrycksTest_5
- 分割：2023_08_09T10_54_28.159442
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-anatomy|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-astronomy|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-business_ethics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-clinical_knowledge|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-college_biology|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-college_chemistry|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-college_computer_science|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-college_mathematics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-college_medicine|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-college_physics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-computer_security|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-conceptual_physics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-econometrics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-electrical_engineering|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-elementary_mathematics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-formal_logic|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-global_facts|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_biology|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_chemistry|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_computer_science|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_european_history|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_geography|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_government_and_politics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_macroeconomics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_mathematics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_microeconomics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_physics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_psychology|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_statistics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_us_history|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-high_school_world_history|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-human_aging|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-human_sexuality|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-international_law|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-jurisprudence|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-logical_fallacies|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-machine_learning|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-management|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-marketing|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-medical_genetics|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-miscellaneous|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-moral_disputes|5_2023-08-09T10:54:28.159442.parquet - 路径：
**/details_harness|hendrycksTest-moral_scenarios|5_2023-08-09T10:54:28.159442.parquet
- 路径：
- 分割：2023_08_09T10_54_28.159442
搜集汇总
数据集介绍
构建方式
在大型语言模型评估的浪潮中，Open LLM排行榜为模型性能提供了系统性的度量。本数据集作为Open-Orca/OpenOrcaxOpenChat-Preview2-13B模型在Open LLM排行榜上自动化评估运行的产物，其构建方式颇具匠心。数据集由64种配置构成，每一种配置精确对应一个被评估的任务，涵盖了如ARC挑战、DROP、GSM8K、HellaSwag及HendrycksTest等多样化的基准测试。每次评估运行均作为一个独立的分割（split）被存储，分割名称以时间戳命名，确保每次评测结果的可追溯性。特别地，“train”分割始终指向最新一次的评估结果，而名为“results”的额外配置则汇总了所有运行的聚合指标，用于在排行榜上计算与展示综合性能。
特点
该数据集的核心特点在于其精细化的任务划分与时间序列式的版本管理。64个配置覆盖了从常识推理到数学问题求解、从阅读理解到多学科知识测试的广泛能力域，为模型性能的细粒度分析提供了可能。每个任务配置下包含多次运行的分割，使得研究者可以追踪模型在不同时间点的表现演变，洞察模型优化的动态过程。数据以Parquet格式存储，兼顾了高效压缩与快速读取。此外，“results”配置的存在简化了聚合指标的获取，无需手动合并各任务结果，极大提升了数据使用的便捷性。
使用方法
使用该数据集时，研究者可通过HuggingFace的datasets库便捷地加载特定任务与运行的数据。例如，调用load_dataset函数并指定配置名（如“harness_winogrande_5”）和分割名称（如“train”），即可获取最新一次的评估细节。若需回溯历史结果，只需将分割名称替换为对应的时间戳即可。对于整体性能分析，可直接访问“results”配置，其中存储了各次运行的聚合指标。这种灵活的数据访问模式，既支持对单一任务深度剖析，也便于进行跨任务的综合评估，为模型改进提供了坚实的数据基础。
背景与挑战
背景概述
自大规模语言模型兴起以来，如何客观、全面地评估其性能成为学术界与工业界共同关注的焦点。为应对这一需求，Hugging Face团队于2023年推出了开放大语言模型排行榜（Open LLM Leaderboard），旨在通过标准化评测体系衡量各类开源模型的综合能力。该数据集正是针对Open-Orca团队发布的OpenOrcaxOpenChat-Preview2-13B模型在排行榜上的评测结果而构建，由Clémentine Fourrier等研究人员主导创建。核心研究问题在于通过多任务、多轮次的自动化评估，揭示该模型在推理、常识理解、数学求解等维度的真实表现。该数据集不仅为模型开发者提供了细粒度的性能反馈，更推动了开源社区对大语言模型能力边界的系统性探索，成为后续模型迭代与对比研究的重要参考基准。
当前挑战
该数据集面临的核心挑战体现为两大层面。在领域问题层面，大语言模型评测长期受困于任务多样性与评估标准不统一，单一指标难以全面反映模型在推理、知识记忆、对话连贯性等维度的综合能力，亟需构建涵盖多种难度与类型的标准化评测体系。在构建过程中，数据集的生成需处理多次评测运行的时间戳对齐、不同任务配置的粒度差异（如ARC挑战赛的25-shot与GSM8K的5-shot设置），以及海量细粒度结果的存储与检索效率问题。此外，如何确保评测结果的可复现性、避免因模型版本或环境变动导致的偏差，亦是数据构建与维护中不可忽视的技术难题。
常用场景
经典使用场景
该数据集作为Open LLM Leaderboard评估流程的产物，其核心经典用法在于为研究者提供对Open-Orca/OpenOrcaxOpenChat-Preview2-13B模型在多项自然语言理解与推理任务上的细粒度性能剖析。通过存储ARC挑战赛、HellaSwag常识推理、GSM8K数学问题求解、Winogrande代词消歧以及涵盖57个学科的MMLU基准测试等任务的逐次评估结果，研究者可以系统性地追踪模型在一次次迭代中的能力演变轨迹，进而深入洞察其推理、知识与泛化能力的消长。
解决学术问题
此数据集精准回应了大语言模型评估领域中长期存在的透明性与可复现性困境。传统的模型评估往往仅公布宏观指标，缺乏对特定任务、特定时间节点下模型表现的详尽记录，导致不同研究间的横向比较与纵向追踪困难重重。该数据集通过结构化存储每次评估的完整细节，使学术界能够基于统一的基准框架，客观衡量模型在常识推理、数学计算、知识问答等维度的真实水平，从而为模型能力的归因分析与改进方向提供坚实的数据支撑。
衍生相关工作
该数据集衍生出了一系列关于模型评估标准化与性能追踪的经典工作。它本身即是Open LLM Leaderboard生态的重要组成部分，其设计理念——即公开、结构化地记录模型在标准化基准上的历次评估结果——已被后续多个评估框架（如LM Evaluation Harness的扩展版本）所借鉴。此外，基于该数据集的时间序列特性，研究者得以开展模型能力随训练轮次或微调策略的动态演化分析，催生了诸如“模型能力衰减曲线”、“任务相关性图谱”等新颖的研究视角，推动了评估方法论的深化。
以上内容由遇见数据集搜集并总结生成
