ChuckMcSneed/NeoEvalPlusN_benchmark

该数据集是一个用于评估语言模型性能的基准测试集，包含多个测试（B-test、C-test、D-test、P-test、S-test）。B-test、C-test和D-test主要评估模型执行命令的能力，而P-test和S-test则评估模型的创造性写作能力。每个测试都有不同的评分标准和目标。测试结果显示了不同模型的表现及其特点，如模型是否能够通过基本命令测试、创造性写作能力如何等。README还提到了测试的局限性，如测试仅进行一次、人为因素对结果的影响等。This dataset is a benchmark suite for evaluating language model performance, comprising five test sets: B-test, C-test, D-test, P-test, and S-test. B-test, C-test, and D-test primarily evaluate a model's ability to follow and execute commands, whereas P-test and S-test assess its creative writing proficiency. Each test features distinct scoring criteria and targeted evaluation objectives. The test results demonstrate the performance and characteristics of various models, such as whether a model can pass basic command-following assessments and the quality of its creative writing capabilities. The README also outlines the limitations of these tests, such as the evaluations being conducted only once and the impact of human factors on test outcomes.

原始信息汇总

数据集概述

数据集目的

• 旨在评估模型在执行命令和创意写作方面的能力，而非智能程度。

测试条件

• 所有测试在koboldcpp环境中执行。
• 测试参数设置：温度（temperature）和顶部概率（top P）约等于0，重复惩罚（rep. penalty）=1。

测试格式

• 使用模型适宜的格式进行测试，除非该格式不适用。

搜集汇总

数据集介绍

构建方式

NeoEvalPlusN_benchmark数据集由ChuckMcSneed构建，旨在应对开源基准测试排行榜被过度训练模型污染的问题。其构建方式基于一系列专有测试，涵盖命令执行与创意写作两大维度。测试在koboldcpp环境中以温度与top P趋近于0、重复惩罚为1的参数下执行，并采用模型适配的格式。数据集包含B-test（基础任务与干扰文本）、C-test（简化任务与强干扰）、D-test（打破预期的阅读任务）、P-test（诗歌创作）和S-test（风格化写作）五个子测试，每个测试均设有明确的评分标准，如B-test通过检查点分配分数，P-test按诗歌的连贯性与韵律评分。测试结果以可视化表格和CSV文件呈现，确保了评估的可量化性。

特点

该数据集的核心特点在于其对抗性设计，旨在评估模型在干扰下的命令执行能力与创意写作水平。B-test和C-test通过逐步增加干扰文本的复杂性，测试模型的抗干扰能力；D-test通过数学技巧的变体，挑战模型的预期打破能力；P-test和S-test则聚焦于写作的连贯性、韵律保持与风格一致性。数据集强调对过度训练模型的辨识，如指出未能通过BCD测试的模型可能“脑死亡”或过度过滤。此外，测试结果揭示了模型合并对创造力的影响，例如创意父本组合可能产生创意子本，而上下文扩展尝试常导致创造力下降。这些特点使得数据集成为评估模型真实性能而非表面智能的有效工具。

使用方法

使用NeoEvalPlusN_benchmark时，用户需在koboldcpp环境中运行模型，确保温度与top P接近0、重复惩罚为1，并应用模型适配的格式。测试按子测试顺序执行，每个测试依据预设的评分标准手动评估，如B-test需观察模型在干扰文本下的任务完成情况并分配0-3分。S-test和P-test因人为因素存在±1的波动，建议多次测试取平均以提高可靠性。用户可通过讨论区建议新模型进行测试，但需注意数据集的局限性：所有测试仅执行一次，且作者承认其自有模型可能存在作弊风险。结果可参考CSV文件中的纯数据与可视化图表，以比较不同模型的命令遵循与创意写作表现。

背景与挑战

背景概述

大语言模型基准测试的泛滥与滥用催生了NeoEvalPlusN_benchmark的诞生。该数据集由独立研究者ChuckMcSneed于2023年创建，旨在应对开源基准排行榜被过度训练和作弊模型污染的问题。其核心研究问题聚焦于评估模型在指令执行与创意写作两大维度的真实能力，而非传统知识问答或推理测试。通过设计B、C、D、P、S五类专项测试，该基准分别衡量模型抗干扰执行指令的能力、简洁响应能力、突破预设思维定式的灵活性、诗歌创作水平以及风格化写作的连贯性。尽管规模有限，该基准已对Miqu-120b、Goliath等知名模型进行评测，揭示了模型在创意性与指令遵循之间的权衡关系，为社区提供了不同于主流评测的独特视角。

当前挑战

该数据集面临的核心挑战体现在多个层面。首先，所解决的领域问题在于现有基准测试的失效——大量模型通过针对性训练或参数微调在公开排行榜上获得虚高分数，却无法反映真实应用场景中的指令执行与创意写作能力，NeoEvalPlusN_benchmark试图通过封闭式、非公开的测试集来规避这一漏洞。其次，构建过程中遭遇显著困难：创意写作类测试（S-test和P-test）受人类评分者主观判断影响，存在±1分的波动范围，降低了评测结果的绝对可靠性；所有测试仅执行一次，缺乏重复验证的统计稳健性；数据集创建者本身也是模型制作者，存在利用自有基准优化自身模型的风险，尽管其公开了尝试作弊但失败的案例，但数据集的公正性仍受质疑。此外，测试题目若被泄露并用于训练，基准将彻底失效，这构成了长期维护的挑战。

常用场景

经典使用场景

NeoEvalPlusN_benchmark数据集的核心应用在于对大型语言模型进行指令执行与创意写作能力的量化评估。其设计精巧地融合了基线测试（B-test）、抗干扰测试（C-test）、反预期推理测试（D-test）、诗歌创作测试（P-test）以及风格化写作测试（S-test）等多维度任务，旨在规避传统基准测试中因模型过度训练而导致的虚假高分现象。研究者通过设定低温采样与惩罚参数，在koboldcpp环境中执行标准化评估，以衡量模型在复杂任务指令下的逻辑遵从性、抗干扰能力以及文学创作中的韵律、风格与连贯性。这一场景特别适用于对比不同架构、训练策略或微调方法对模型实际执行能力的影响，为模型优化提供可复现的参考框架。

实际应用

在实际应用中，该数据集可直接服务于对话系统、内容生成工具和智能助手的质量把控。例如，B-test和C-test模拟了用户在与模型交互时频繁插入无关信息或复杂指令的真实场景，帮助开发者识别模型在客服、教育或创意写作等任务中的稳定性。P-test和S-test则直接关联到文学辅助创作、品牌文案生成和角色扮演系统，确保模型输出兼具逻辑准确性与艺术感染力。此外，该基准还被用于指导模型融合策略，如通过评分反馈优化模型混合比例，从而提升实际产品中的用户体验。其轻量化测试设计也降低了部署成本，适用于快速迭代的工业级模型筛选流程。

衍生相关工作

该数据集衍生了一系列围绕模型评估与优化的重要工作。例如，研究者基于其评分体系开发了BenchmaxxxerPS-v1-123b模型，尝试通过融合策略直接‘博弈’基准，虽未完全成功，但揭示了模型性能与评估指标间的复杂关联。另一项代表性工作Gembo-v1-70b则将该基准作为融合方向指南，通过评分反馈调整模型合并权重，最终在22分制中取得19.75的高分，验证了该评估框架对模型调优的实用价值。此外，该数据集还催生了关于上下文扩展对创造性影响的讨论，例如通过对比XWin和Llama模型发现，使用特定LoRA扩展上下文会显著降低创意表现，为后续研究长序列建模中的质量退化问题提供了重要线索。