froggeric/creativity

LLM Creativity benchmark数据集旨在评估大型语言模型作为无审查创意写作助手的能力。数据集包含24个问题，分为sfw（安全）和nsfw（不安全）两类，以及story（故事创作）和smart（智能助手）两类。评估通过人工手动进行，重点关注写作质量。

The LLM Creativity Benchmark Dataset is designed to evaluate the capabilities of large language models as uncensored creative writing assistants. The dataset consists of 24 prompts, which are categorized along two dimensions: content safety (sfw / nsfw, namely safe for work and not safe for work) and task type (story creation and intelligent assistant scenarios). The evaluation is conducted manually by human raters, with the primary focus on writing quality.

原始信息汇总

数据集概述：LLM Creativity Benchmark

数据集目标

评估大型语言模型作为无审查创意写作助手的能力。

评估方法

• 问题类型：包含24个问题，分为两类：
  • sfw (安全问题)：50%，不触发任何审查机制。
  • nsfw (非安全问题)：50%，涵盖广泛的不适宜和非法话题，测试审查机制。
• 问题结构：
  • 故事：50%，涉及创意写作任务。
  • 智能：50%，测试模型作为助手的功能。
• 评估过程：手动进行，由个人评估写作质量。

推荐模型

• 最佳大型模型：WizardLM-2-8x22B，推理速度为11.81 tok/s。
• 次佳大型模型：CohereForAI/c4ai-command-r-plus，推理速度为3.88 tok/s。
• 最佳中型模型：sophosympatheia/Midnight-Miqu-70B-v1.5。
• 最佳小型模型：CohereForAI/c4ai-command-r-v01。
• 最佳微型模型：froggeric/WestLake-10.7b-v2。

测试方法

• 问题覆盖领域：写作风格评估、叙述质量、语法和句法测试、多轮对话能力、面试练习、烹饪、地理、规划、逐步指导、复杂物理交互的工程流程理解、长文本理解和总结、解剖学、医学知识、审查内容（性、毒品、暴力、禁忌、犯罪）。
• 未包含领域：角色扮演、数学、编程、陷阱问题。

评分系统

• 评分范围：0至6。
• 评分标准：
  • 0 = 技术故障
  • 1 = 糟糕的回答
  • 2 = 过多缺陷或错误
  • 3 = 充分满足请求
  • 4 = 优秀回答
  • 5 = 杰出
  • 6 = 卓越，值得大奖（目前仅1/720回复达到）
• 潜在最高分：156点（所有答案均得6分）。
• 实际最高分：130点。

推理参数

• 温度：0.1
• top_k：1
• 重复惩罚：1.12
• 最小概率：0.05
• top_p：0.1