open-llm-leaderboard/details_teknium__OpenHermes-2.5-Mistral-7B
收藏Hugging Face2023-11-20 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/open-llm-leaderboard/details_teknium__OpenHermes-2.5-Mistral-7B
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是在评估模型teknium/OpenHermes-2.5-Mistral-7B时自动创建的，包含64个配置，每个配置对应一个评估任务。数据集从2次运行中创建，每次运行的结果作为特定配置中的一个分割，分割名称使用运行的时间戳。"train"分割始终指向最新的结果。此外，"results"配置存储了所有运行的聚合结果，用于计算和显示在Open LLM Leaderboard上的聚合指标。
This dataset was automatically created during the evaluation of the model teknium/OpenHermes-2.5-Mistral-7B. It contains 64 configurations, each corresponding to one evaluation task. The dataset is constructed from two runs, where the results of each run act as a split under its respective configuration, with the split name being the timestamp of the run. The "train" split always points to the most recent results. Additionally, the "results" configuration stores the aggregated results across all runs, which are used to compute and display the aggregate metrics on the Open LLM Leaderboard.
提供机构：
open-llm-leaderboard原始信息汇总
数据集概述
数据集简介
该数据集是在对模型 teknium/OpenHermes-2.5-Mistral-7B 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。
数据集结构
- 配置数量：64个配置，每个配置对应一个评估任务。
- 运行次数：数据集从2次运行中创建。每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
- 训练分割："train" 分割始终指向最新的结果。
- 结果配置：一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。
数据加载示例
python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_teknium__OpenHermes-2.5-Mistral-7B_public", "harness_winogrande_5", split="train")
最新结果
最新结果来自2023-11-20T08:19:51.425757的运行，包含多个任务的评估指标，如准确率（acc）、标准化准确率（acc_norm）、误差（stderr）等。
配置详情
以下是部分配置及其数据文件路径：
-
harness_arc_challenge_25
- 分割：2023_11_14T22_44_46.514057
- 路径：
**/details_harness|arc:challenge|25_2023-11-14T22-44-46.514057.parquet
- 路径：
- 分割：2023_11_20T08_19_51.425757
- 路径：
**/details_harness|arc:challenge|25_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|arc:challenge|25_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：2023_11_14T22_44_46.514057
-
harness_drop_3
- 分割：2023_11_14T22_44_46.514057
- 路径：
**/details_harness|drop|3_2023-11-14T22-44-46.514057.parquet
- 路径：
- 分割：2023_11_20T08_19_51.425757
- 路径：
**/details_harness|drop|3_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|drop|3_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：2023_11_14T22_44_46.514057
-
harness_gsm8k_5
- 分割：2023_11_14T22_44_46.514057
- 路径：
**/details_harness|gsm8k|5_2023-11-14T22-44-46.514057.parquet
- 路径：
- 分割：2023_11_20T08_19_51.425757
- 路径：
**/details_harness|gsm8k|5_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|gsm8k|5_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：2023_11_14T22_44_46.514057
-
harness_hellaswag_10
- 分割：2023_11_14T22_44_46.514057
- 路径：
**/details_harness|hellaswag|10_2023-11-14T22-44-46.514057.parquet
- 路径：
- 分割：2023_11_20T08_19_51.425757
- 路径：
**/details_harness|hellaswag|10_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：latest
- 路径：
**/details_harness|hellaswag|10_2023-11-20T08-19-51.425757.parquet
- 路径：
- 分割：2023_11_14T22_44_46.514057
-
harness_hendrycksTest_5
- 分割：2023_11_14T22_44_46.514057
- 路径：
**/details_harness|hendrycksTest-abstract_algebra|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-anatomy|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-astronomy|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-business_ethics|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-clinical_knowledge|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-college_biology|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-college_chemistry|5_2023-11-14T22-44-46.514057.parquet - 路径：
**/details_harness|hendrycksTest-college_computer_science|5_2023-11-14T22-44-46.514057.parquet
- 路径：
- 分割：2023_11_14T22_44_46.514057
搜集汇总
数据集介绍
构建方式
在大语言模型评估领域，衡量模型性能的标准化基准至关重要。该数据集源自Open LLM Leaderboard对teknium/OpenHermes-2.5-Mistral-7B模型的评估过程，通过自动化流程构建而成。数据集包含64个配置，每个配置对应一个评估任务，覆盖了从常识推理到专业学科知识的广泛测试维度。数据来源于两次独立的评估运行，每次运行的结果被存储为特定分割，并以运行时间戳命名，其中'train'分割始终指向最新结果。此外，一个名为'results'的附加配置汇总了所有评估的聚合指标，用于在Leaderboard上计算和展示模型的总体性能。
使用方法
研究者可通过Hugging Face的datasets库便捷地加载该数据集。例如，使用load_dataset函数指定数据集名称和配置名称，如'harness_winogrande_5'，即可获取对应任务的评估细节。通过选择'split'参数（如'train'或具体时间戳），用户可以访问最新结果或特定历史运行的数据。对于需要完整评估概览的场景，可直接加载'results'配置，获取所有任务的聚合指标。这种灵活的数据访问方式支持从单任务分析到全模型性能评估的多层次研究需求，为深入理解模型在不同维度上的表现提供了便利工具。
背景与挑战
背景概述
在大型语言模型（LLM）评估体系日益成熟的背景下，Open LLM Leaderboard作为HuggingFace社区推动的标准化评测平台，于2023年发布了针对teknium/OpenHermes-2.5-Mistral-7B模型的详细评估数据集。该数据集由Clementine等研究人员主导构建，旨在系统记录7B参数级开源模型在多维度任务上的表现。其核心研究问题聚焦于如何通过细粒度、可复现的评测框架，揭示混合指令微调模型在常识推理、数学计算、知识问答及对抗性测试等57项子任务中的能力边界。作为Mistral-7B架构的增强版本，OpenHermes-2.5的评估结果不仅验证了数据混合策略对模型泛化性能的提升，更为后续开源模型的横向对比提供了关键基准，推动了LLM评价范式的透明化与标准化。
当前挑战
该数据集面临的核心挑战在于领域问题的复杂性与评测构建的严谨性。从领域问题层面看，模型需同时应对ARC挑战集（科学推理）、HellaSwag（常识推断）、GSM8K（数学解题）及TruthfulQA（事实一致性）等多类异构任务，这要求评测体系能精准捕捉模型在零样本泛化、抗干扰能力及知识准确性上的细微差异，而当前单一准确率指标难以全面反映模型在长尾知识或逻辑陷阱上的缺陷。在构建过程中，挑战则体现为多轮评测结果的时间一致性管理——数据集需整合来自不同时间戳的运行记录（如2023年11月14日与20日的两次评估），并确保64个配置项中每个任务的拆分与合并逻辑无误，同时通过Parquet格式的标准化存储来平衡数据加载效率与版本追溯的复杂性，这对数据管道的自动化与鲁棒性提出了严苛要求。
常用场景
经典使用场景
在大规模语言模型迅猛发展的时代背景下，OpenHermes-2.5-Mistral-7B评估数据集被广泛用于衡量模型在多样化自然语言理解任务中的综合表现。该数据集整合了ARC Challenge、HellaSwag、MMLU、TruthfulQA、Winogrande、DROP及GSM8K等经典基准测试，覆盖常识推理、科学知识、数学逻辑、文本生成与阅读理解等多个维度。研究者常通过加载该数据集中的特定配置，如harness_arc_challenge_25或harness_gsm8k_5，对模型进行细粒度的性能剖析，从而精准定位模型在推理、知识检索或计算方面的优势与短板。
解决学术问题
该数据集有效解决了当前大语言模型评估中缺乏标准化、可复现评测框架的学术难题。通过提供统一的任务配置与结果聚合机制，它使得不同模型在相同条件下的横向比较成为可能，从而消除了因评估流程差异导致的偏差。其内置的64个任务配置涵盖了从基础学科到专业领域的广泛知识范畴，为探究模型在知识记忆、逻辑推理、常识判断及数学求解等方面的能力边界提供了坚实的数据支撑。这一标准化评估体系极大地推动了模型性能的透明化与可解释性研究。
实际应用
在实际应用中，该数据集为模型选型与优化提供了关键参考依据。企业或研究机构在部署对话系统、智能客服、教育辅助工具或代码生成器时，可依据该数据集上的评测结果（如准确率、F1分数）筛选出最适配业务场景的基础模型。例如，在需要高精度数学推理的金融分析场景中，GSM8K任务的得分可作为核心指标；而在追求常识理解的智能问答系统中，HellaSwag与Winogrande的表现则更具指导意义。这种基于多任务评估的决策模式显著提升了模型落地的效率与可靠性。
数据集最近研究
最新研究方向
在大型语言模型评估领域，OpenHermes-2.5-Mistral-7B模型在Open LLM Leaderboard上的评测数据为研究社区提供了珍贵的基准参考。该数据集聚焦于模型在多样化任务上的性能表现，涵盖ARC挑战、HellaSwag、MMLU多学科知识、TruthfulQA、Winogrande、DROP及GSM8K等前沿评测集。特别值得关注的是，模型在MMLU的57个学科子集中展现出差异化的能力分布，其在高中政治、市场营销等社会科学领域表现突出，而在大学数学、形式逻辑等抽象推理任务上则面临挑战。这种性能图谱不仅揭示了当前7B参数级别模型在知识广度与推理深度之间的权衡，也为后续研究指明了优化方向——如何在不显著增加参数量的前提下，提升模型在数学推理和复杂逻辑任务上的泛化能力。该数据集作为开源社区协作评估的典范，其标准化评测流程和可复现的结果，正在推动语言模型性能评估从单一指标向多维度、细粒度的范式转变。
以上内容由遇见数据集搜集并总结生成
