open-llm-leaderboard-old/details_Intel__neural-chat-7b-v3

该数据集是在评估模型Intel/neural-chat-7b-v3时自动创建的，用于在Open LLM Leaderboard上进行评估。数据集由64个配置组成，每个配置对应一个评估任务。数据集从1次运行中创建，每次运行可以在每个配置中找到特定的分割，分割名称使用运行的时间戳。train分割始终指向最新的结果。此外，results配置存储了所有运行的聚合结果，用于计算和显示Open LLM Leaderboard上的聚合指标。

原始信息汇总

数据集概述

数据集摘要

该数据集是在对模型 Intel/neural-chat-7b-v3 进行评估运行期间自动创建的，用于 Open LLM Leaderboard。

数据集结构

• 数据集包含 64 个配置，每个配置对应一个评估任务。
• 数据集从 1 次运行中创建，每个运行在每个配置中作为一个特定的分割存在，分割名称使用运行的时间戳。
• "train" 分割始终指向最新的结果。
• 一个额外的配置 "results" 存储所有运行的聚合结果，用于计算和显示 Open LLM Leaderboard 上的聚合指标。

数据加载示例

python from datasets import load_dataset data = load_dataset("open-llm-leaderboard/details_Intel__neural-chat-7b-v3_public", "harness_winogrande_5", split="train")

最新结果

以下是 2023-11-14T07:40:49.387630 运行的最新结果：

python { "all": { "acc": 0.6159787282968994, "acc_stderr": 0.03250548890211772, "acc_norm": 0.6270034478352691, "acc_norm_stderr": 0.03333659536654491, "mc1": 0.42472460220318237, "mc1_stderr": 0.01730400095716748, "mc2": 0.5876875540849609, "mc2_stderr": 0.015599384707939359, "em": 0.43435402684563756, "em_stderr": 0.005076143925092938, "f1": 0.5043477348993302, "f1_stderr": 0.004800980590603821 }, "harness|arc:challenge|25": { "acc": 0.6399317406143344, "acc_stderr": 0.014027516814585188, "acc_norm": 0.6715017064846417, "acc_norm_stderr": 0.0137249784655373 }, "harness|hellaswag|10": { "acc": 0.6532563234415455, "acc_stderr": 0.004749606196363344, "acc_norm": 0.8329018123879706, "acc_norm_stderr": 0.0037230107458783917 }, "harness|hendrycksTest-abstract_algebra|5": { "acc": 0.37, "acc_stderr": 0.048523658709391, "acc_norm": 0.37, "acc_norm_stderr": 0.048523658709391 }, "harness|hendrycksTest-anatomy|5": { "acc": 0.5851851851851851, "acc_stderr": 0.04256193767901408, "acc_norm": 0.5851851851851851, "acc_norm_stderr": 0.04256193767901408 }, "harness|hendrycksTest-astronomy|5": { "acc": 0.6710526315789473, "acc_stderr": 0.03823428969926604, "acc_norm": 0.6710526315789473, "acc_norm_stderr": 0.03823428969926604 }, "harness|hendrycksTest-business_ethics|5": { "acc": 0.58, "acc_stderr": 0.04960449637488583, "acc_norm": 0.58, "acc_norm_stderr": 0.04960449637488583 }, "harness|hendrycksTest-clinical_knowledge|5": { "acc": 0.6716981132075471, "acc_stderr": 0.02890159361241178, "acc_norm": 0.6716981132075471, "acc_norm_stderr": 0.02890159361241178 }, "harness|hendrycksTest-college_biology|5": { "acc": 0.7152777777777778, "acc_stderr": 0.03773809990686934, "acc_norm": 0.7152777777777778, "acc_norm_stderr": 0.03773809990686934 }, "harness|hendrycksTest-college_chemistry|5": { "acc": 0.39, "acc_stderr": 0.04902071300001975, "acc_norm": 0.39, "acc_norm_stderr": 0.04902071300001975 }, "harness|hendrycksTest-college_computer_science|5": { "acc": 0.47, "acc_stderr": 0.050161355804659205, "acc_norm": 0.47, "acc_norm_stderr": 0.050161355804659205 }, "harness|hendrycksTest-college_mathematics|5": { "acc": 0.33, "acc_stderr": 0.04725815626252604, "acc_norm": 0.33, "acc_norm_stderr": 0.04725815626252604 }, "harness|hendrycksTest-college_medicine|5": { "acc": 0.630057803468208, "acc_stderr": 0.0368122963339432, "acc_norm": 0.630057803468208, "acc_norm_stderr": 0.0368122963339432 }, "harness|hendrycksTest-college_physics|5": { "acc": 0.38235294117647056, "acc_stderr": 0.04835503696107223, "acc_norm": 0.38235294117647056, "acc_norm_stderr": 0.04835503696107223 }, "harness|hendrycksTest-computer_security|5": { "acc": 0.71, "acc_stderr": 0.045604802157206845, "acc_norm": 0.71, "acc_norm_stderr": 0.045604802157206845 }, "harness|hendrycksTest-conceptual_physics|5": { "acc": 0.5531914893617021, "acc_stderr": 0.0325005368436584, "acc_norm": 0.5531914893617021, "acc_norm_stderr": 0.0325005368436584 }, "harness|hendrycksTest-econometrics|5": { "acc": 0.47368421052631576, "acc_stderr": 0.046970851366478626, "acc_norm": 0.47368421052631576, "acc_norm_stderr": 0.046970851366478626 }, "harness|hendrycksTest-electrical_engineering|5": { "acc": 0.5586206896551724, "acc_stderr": 0.04137931034482757, "acc_norm": 0.5586206896551724, "acc_norm_stderr": 0.04137931034482757 }, "harness|hendrycksTest-elementary_mathematics|5": { "acc": 0.3994708994708995, "acc_stderr": 0.02522545028406788, "acc_norm": 0.3994708994708995, "acc_norm_stderr": 0.02522545028406788 }, "harness|hendrycksTest-formal_logic|5": { "acc": 0.4365079365079365, "acc_stderr": 0.04435932892851466, "acc_norm": 0.4365079365079365, "acc_norm_stderr": 0.04435932892851466 }, "harness|hendrycksTest-global_facts|5": { "acc": 0.36, "acc_stderr": 0.04824181513244218, "acc_norm": 0.36, "acc_norm_stderr": 0.04824181513244218 }, "harness|hendrycksTest-high_school_biology|5": { "acc": 0.7645161290322581, "acc_stderr": 0.024137632429337717, "acc_norm": 0.7645161290322581, "acc_norm_stderr": 0.024137632429337717 }, "harness|hendrycksTest-high_school_chemistry|5": { "acc": 0.49261083743842365, "acc_stderr": 0.035176035403610084, "acc_norm": 0.49261083743842365, "acc_norm_stderr": 0.035176035403610084 }, "harness|hendrycksTest-high_school_computer_science|5": { "acc": 0.68, "acc_stderr": 0.04688261722621504, "acc_norm": 0.68, "acc_norm_stderr": 0.04688261722621504 }, "harness|hendrycksTest-high_school_european_history|5": { "acc": 0.7636363636363637, "acc_stderr": 0.03317505930009182, "acc_norm": 0.7636363636363637, "acc_norm_stderr": 0.03317505930009182 }, "harness|hendrycksTest-high_school_geography|5": { "acc": 0.7727272727272727, "acc_stderr": 0.029857515673386414, "acc_norm": 0.7727272727272727, "acc_norm_stderr": 0.029857515673386414 }, "harness|hendrycksTest-high_school_government_and_politics|5": { "acc": 0.8601036269430051, "acc_stderr": 0.025033870583015184, "acc_norm": 0.8601036269430051, "acc_norm_stderr": 0.025033870583015184 }, "harness|hendrycksTest-high_school_macroeconomics|5": { "acc": 0.6205128205128205, "acc_stderr": 0.024603626924097417, "acc_norm": 0.6205128205128205, "acc_norm_stderr": 0.024603626924097417 }, "harness|hendrycksTest

搜集汇总

数据集介绍

构建方式

在大语言模型评测领域，Open LLM Leaderboard 作为权威基准平台，系统性地评估模型在多样化任务上的表现。本数据集专为记录 Intel/neural-chat-7b-v3 模型的评测过程而构建，其核心架构包含64个配置项，每个配置精准对应一项被评测任务。数据来源于单次运行，每次运行的结果以时间戳命名独立存储为特定分割，而'train'分割则始终指向最新结果。此外，'results'配置汇聚了所有运行的综合指标，用于在排行榜上计算和展示聚合度量。这种分层式结构确保了评测数据的完整性和可追溯性。

使用方法

用户可通过Hugging Face Datasets库便捷加载该数据集的特定任务配置，例如使用`load_dataset('open-llm-leaderboard/details_Intel__neural-chat-7b-v3_public', 'harness_winogrande_5', split='train')`获取Winogrande任务的最新评测详情。对于需要分析全部任务结果的研究，可通过遍历64个配置项并结合'results'配置来获取聚合指标。数据以Parquet格式存储，支持高效的大规模数据读取，便于进行模型能力图谱绘制、任务难度分析或评测标准一致性检验等下游研究。

背景与挑战

背景概述

大语言模型（LLM）的飞速发展催生了对其性能进行系统性评估的迫切需求，Open LLM Leaderboard应运而生，成为衡量模型在多项自然语言理解与推理任务上表现的关键基准。该数据集源于2023年11月14日对Intel公司研发的neural-chat-7b-v3模型的一次评估运行，由HuggingFace团队负责维护，核心研究人员包括Clémentine等人。其核心研究问题在于通过标准化、多任务测试框架，客观揭示模型在常识推理、数学计算、知识问答及阅读理解等维度的能力边界。该数据集记录了模型在ARC、HellaSwag、GSM8K等64个配置下的详尽结果，为社区提供了可复现的评估样本，对推动LLM性能对比与优化具有重要参考价值。

当前挑战

当前数据集面临的挑战首先体现在领域问题的复杂性上：大语言模型需同时应对从抽象代数到医学遗传学等跨学科知识的准确推理，而neural-chat-7b-v3在GSM8K数学任务中仅取得1.21%的准确率，暴露出模型在符号计算与多步推理上的显著短板。构建过程中的挑战则集中于评估标准的一致性与数据可复现性：数据集需管理随时间演进的多次运行结果，并确保每次评估的配置与任务划分稳定可靠；此外，面对HendrycksTest等大规模多领域测试集，如何高效组织57个学科子任务的细粒度结果、避免数据碎片化，同时维持结果文件的版本追踪与最新分片的自动指向，构成了数据工程层面的核心难题。

常用场景

经典使用场景

在开放大语言模型评测体系（Open LLM Leaderboard）中，该数据集被广泛用于对Intel/neural-chat-7b-v3模型的标准化性能评估。它涵盖了包括ARC挑战赛、HellaSwag、MMLU、TruthfulQA、Winogrande、DROP和GSM8K在内的数十项经典基准任务，能够全面剖析模型在常识推理、知识理解、数学计算与文本生成等多维度能力上的表现。研究者通过加载不同配置下的细粒度评测结果，可深入分析模型在特定子任务上的优势与局限。

解决学术问题

该数据集解决了大语言模型评测中缺乏细粒度、可复现结果记录的核心难题。它系统性地记录了Intel/neural-chat-7b-v3在64个评测配置下的完整表现，包括准确率、标准差、归一化分数等统计指标，为比较不同模型、验证训练策略的有效性提供了坚实的数据基础。其意义在于推动了开放、透明的模型评测标准，使学术社区能够更科学地追踪模型能力演进，并识别语言理解与推理中的潜在短板。

实际应用

在实际应用中，该数据集可作为模型选型与部署决策的参考依据。工程师可依据其在ARC挑战赛、HellaSwag等任务上的得分，评估模型在复杂推理与常识理解场景下的适用性；通过GSM8K与DROP等数学推理任务的成绩，判断模型在金融、教育等需要数值计算领域的可靠性。该数据集还支持多轮评测结果的对比分析，帮助开发者迭代优化模型，提升在客服、知识问答等真实环境中的表现。

数据集最近研究

最新研究方向

当前，大语言模型的竞技场正以Open LLM Leaderboard为标杆，掀起一场关于模型能力量化与透明评估的浪潮。Intel/neural-chat-7b-v3作为参数量仅7B的对话模型，其在此平台上的全面评测数据，折射出小规模模型在多元任务中的潜力与边界。研究前沿聚焦于如何通过细粒度、多维度（如ARC挑战、HellaSwag常识推理、MMLU学科知识、TruthfulQA真实性等）的基准测试，精准刻画模型在推理、知识、伦理等维度的表现。该数据集不仅记录了模型在57个学科上的准确率波动，更揭示了其在GSM8K数学推理任务上仅1.2%的准确率这一显著短板，这直接呼应了当前业界对模型逻辑与数学能力的迫切关注。此类公开、可复现的评测体系，正推动社区从单一指标崇拜转向系统性的能力图谱构建，为下一代模型的迭代提供了宝贵的诊断依据。