formatbench

FormatBench是一个用于纠正大型语言模型格式化偏好的偏好学习数据集，旨在解决经过RLHF训练的LLM系统性地过度格式化输出（如默认使用项目符号、加粗标题和模板化结构）的问题，即使在流畅的散文更能服务读者时也是如此。数据集包含两个配置：默认配置有551个训练偏好对，覆盖18个上下文类别（如电子邮件起草与润色、概念解释、决策建议、学术写作、语气改写等），其中chosen响应为更合适的散文形式，rejected响应为过度格式化的版本；对抗配置有40个仅用于评估的样本，覆盖结构更合适的上下文（如食谱、软件安装说明、比较表格、故障排除步骤、参考查询），其中chosen响应使用清晰结构（如编号步骤、表格、代码块），rejected响应为冗长散文，以防止模型学习总是避免结构的捷径。每个样本包含prompt、chosen、rejected、context字段，以及可选的register和topic_area。数据集适用于直接偏好优化等对齐任务，可用于训练模型减少不适当上下文中的过度格式化，同时保留有益上下文中的必要结构。评估协议包括在默认配置测试集上计算胜率和在对抗配置上计算结构保留率。局限性包括优选回答由单一作者撰写（可能导致模型继承其散文风格）、仅限英语、缺乏人口统计学多样性、样本量较小（共591个示例）。数据集采用CC-BY-4.0许可证发布。

FormatBench is a preference learning dataset designed to correct the formatting biases of large language models (LLMs), specifically addressing the issue of systematically over-formatted outputs (e.g., default use of bullet points, bold headings, and templated structures) in RLHF-trained LLMs, even when fluent prose would better serve the reader. The dataset includes two configurations: 1) Default configuration: Contains 551 training preference pairs covering 18 context categories (such as email drafting and polishing, concept explanation, decision advice, academic writing, tone rewriting), where the chosen response is the more appropriate prose form and the rejected response is the over-formatted version. Email-related categories (drafting and polishing) account for the largest proportion (approximately 43%) due to their high-frequency use in real-world LLM applications and the prominence of over-formatting issues. 2) Adversarial configuration: Contains 40 samples for evaluation only, covering contexts where structure is indeed more appropriate (e.g., recipes, software installation instructions, comparison tables, troubleshooting steps, reference queries), where the chosen response uses clear structures (such as numbered steps, tables, code blocks) and the rejected response is verbose prose, aiming to prevent models from learning the shortcut of always avoiding structure and instead learning to match format to context. Each data sample includes fields: prompt, chosen, rejected, context, and optional register (for email line register labels) and topic_area (subject area for some lines). The dataset is suitable for alignment tasks like direct preference optimization, enabling training to reduce over-formatting in inappropriate contexts while preserving necessary structure in beneficial contexts. The proposed evaluation protocol includes calculating win rates on the test set of the default configuration and structure retention rates on the adversarial configuration. Limitations include all chosen responses being written by a single author (potentially leading to model inheritance of prose style), English-only content, lack of demographic diversity, and relatively small total sample size (591 examples). The dataset is released under the CC-BY-4.0 license.

原始信息汇总

数据集概述

FormatBench 是一个用于纠正大语言模型（LLM）格式化偏好的偏好数据集。该数据集旨在解决 LLM 在 RLHF 训练后系统性地过度使用格式化输出（如项目符号、粗体标题和模板化结构）的问题，即使流畅的散文风格更合适。

数据集结构与内容

配置与规模

• default（默认配置）：包含 551 个训练偏好对，涵盖 18 种上下文类别，适用于散文优于过度格式化的场景。
• adversarial（对抗配置）：包含 40 个仅用于评估的示例，覆盖结构确实合理的上下文（如食谱、安装说明、比较表格等），禁止用于训练。

数据模式

每条记录包含以下字段：

• prompt：提示文本（字符串）
• chosen：首选回复（字符串）
• rejected：被拒绝的回复（字符串）
• context：上下文类别（字符串）
• 可选字段：register（邮件语境）和 topic_area（部分示例）

关键区别

• default 配置：chosen 使用散文风格，rejected 使用过度格式化。
• adversarial 配置：chosen 使用清晰的结构化格式（如编号步骤、表格、代码块），rejected 使用冗长且模糊的散文。

类别分布

主数据集（default）类别分布：

类别	数量	描述
email_draft	119	从零开始起草专业邮件
email_refine	120	修改粗糙的邮件草稿
concept_explain	34	对机器学习、DevOps、强化学习等概念的提问
decision_advice	33	职业/课程/工具选择建议
casual_reply	28	简短回复（Slack/WhatsApp/短信）
academic_writing	30	论文章节、摘要、文献综述
tone_rewrite	26	语气调整（礼貌、坚定、共情、外交）
short_explain	23	对同事的简短解释
travel_query	19	目的地、天气、行程问题
social_content	18	社交媒体文案、LinkedIn帖子、交友资料
health_query	16	症状、药物、化验结果问题
simplify_request	15	“像对初学者一样解释”请求
code_explain	12	代码讲解与调试帮助
summarize_request	12	摘要和概述请求
Diversity ballast	44	会话/叙事/解释/说服类示例

对抗数据集（adversarial）类别分布：

类别	数量
recipe	8
software_install	8
comparison	8
troubleshooting	8
reference	8

数据集构建方法

• 偏好对通过 LLM 辅助生成，并经过人工筛选。
• 被拒绝的回复（rejected） 模拟了当前先进 LLM（GPT-4、Claude、Gemini）的实际失败模式，包括表情符号前缀的列表、加粗的段落标签、段落中的标题、以及“专业提示”/“关键要点”等插句。
• 首选回复（chosen） 被编写为符合上下文的散文替代方案，并在不同示例中刻意变化语气。
• 对抗集（adversarial） 反转了模式，但使用干净的结构化格式（无表情符号前缀、无装饰性插句），以便模型学习“在结构有帮助时使用结构”，而非“使用带有所有 LLM 特征的结构”。

推荐评估方案

1. 主数据集保留测试集上的胜率：检查训练模型是否比基础模型产生更合适的散文式回复。
2. 对抗集上的结构保留率：检查训练模型在结构确实合理的情况下是否仍能生成结构化的回复。

一个在指标 (1) 上得分高但在 (2) 上得分低的模型可能已经退化，学会了一刀切地移除结构。

训练结果（v1）

基于 Qwen 2.5 1.5B-Instruct 的 DPO + LoRA 微调结果：

指标	基础模型	训练模型	黄金回复
测试集——每次回复的列表项数	2.16	0.53	0.00
测试集——每次回复的标题数	0.59	0.00	0.00
对抗集——每次回复的列表项数	9.35	6.60	8.18
对抗集——每次回复的标题数	0.78	0.30	3.38

v1 成果：在散文合适的上下文中，列表项使用减少 75%，Markdown 标题完全消除。 v1 不足：在对抗集上，模型结构保留率略低于黄金回复，存在轻微奖励黑客现象。

局限性

• 单作者风格：主数据集所有 chosen 回复由同一标注者撰写，训练模型将继承此风格。
• 仅支持英文：无多语言覆盖。
• 无人口多样性：仅包含邮件注册标签（印度企业、美国科技随性、全球中性）范围内的多样性。
• 规模有限：共 591 个示例，足以产生可测量的 DPO 效果，但不足以带来显著的差异。

许可协议

CC-BY-4.0，可自由使用并注明出处。

项目地址

• GitHub 仓库：https://github.com/krishyaid-coder/prosify.git
• Kaggle：https://www.kaggle.com/datasets/techiekd/formatbench-llm-formatting-bias-dataset
• 训练模型：https://huggingface.co/krishy-d/prosify_qwen_1.5b_lora

搜集汇总

数据集介绍

构建方式

FormatBench数据集通过大语言模型辅助生成与人工精校相结合的方式构建。数据集的拒绝回答部分精准模拟了当前主流前沿大语言模型（如GPT-4、Claude、Gemini）在输出时常见的过度格式化缺陷，包括使用表情符号前缀的列表、段落中加粗的标签、小标题以及“专业提示”或“要点总结”等装饰性结构。而优选回答则精心撰写了符合上下文的流畅散文体，并在不同样本间刻意变化语态以确保多样性。对抗性集则巧妙反转了这一模式，使用干净的结构化格式（如编号步骤、表格、代码块）作为优选回答，以测试模型是否真正学到了根据上下文选择恰当格式的能力。所有生成脚本均已开源，保障了构建过程的可复现性。

特点

该数据集的核心特色在于它精准捕捉并孤立了大语言模型在RLHF训练后产生的系统性过度格式化偏好，这是此前公开数据集中未曾涉及的维度。包含默认与对抗性两套配置，默认配置的551个训练样本横跨18个语境类别，其中电子邮件相关任务占比约43%，精准对应了过度格式化问题最突出的真实应用场景。对抗性配置的40个评估样本覆盖了烹饪食谱、软件安装、比较表格等确实需要结构化格式的领域，为评估模型是否真正学会根据上下文选择格式提供了关键判据。数据集还通过对抗性集的设计，有效区分了模型是否学会了“始终避免结构”的捷径或“根据上下文匹配格式”的正确模式。

使用方法

该数据集支持通过Hugging Face的datasets库直接加载，用户可使用load_dataset函数分别获取默认配置的训练数据和对抗性配置的测试数据。其偏好对格式（包含prompt、chosen、rejected字段）天然适配Direct Preference Optimization（DPO）训练框架，可无缝集成到TRL库的DPOTrainer中进行模型微调。建议的评估方案采用双重指标：在默认配置的留出测试集上衡量模型生成流畅散文的胜率，同时在对抗性配置上评估模型保留必要结构化格式的能力，以防范模型陷入彻底消除结构的奖励破解陷阱。完整的使用示例和推荐评估协议的代码均在项目GitHub仓库中提供。

背景与挑战

背景概述

FormatBench是由研究者Krishna Dahale于2026年创建的首个专门针对大语言模型格式化偏好偏差的公开数据集，隶属于Prosify项目。该数据集的核心研究问题在于揭示并纠正RLHF训练过程中普遍存在的过度格式化现象——模型倾向于在回信中擅自使用项目符号、粗体标题和模板化结构，即便流畅的散文体更符合上下文需求。作为长度偏差（Singhal et al., 2023）的延伸，格式化偏差同样源于奖励模型对表面特征的错误偏好。FormatBench通过551个训练偏好对及40个对抗性评估样本，开创性地将格式化语域作为可学习的偏好信号引入对齐研究，对于提升LLM在实际场景中的输出质量具有里程碑意义。

当前挑战

FormatBench所解决的领域挑战在于LLM在RLHF对齐后系统性输出过度格式化内容，这种偏差严重影响了电子邮件润色、概念解释、社交回复等高容量真实使用场景的用户体验。在构建过程中，研究者面临两大挑战：一是确保偏好对中rejected响应真实反映当前GPT-4、Claude等前沿模型的失败模式（如表情符号前缀、无意义标题），而非人为臆造；二是设计对抗性评估集以区分模型是否真正习得‘根据语境选择合适格式’的能力，而非简单学习‘永远避免结构’的捷径。对抗性测试结果揭示了奖励破解（reward hacking）的风险——模型可能在减少散文场景中格式化的同时，过度移除本应保留的结构化内容。

常用场景

经典使用场景

FormatBench数据集专为纠正大语言模型在文本生成中过度使用格式化标记（如项目符号、粗体标题、模板化结构）的偏好偏差而构建。其核心设计围绕偏好学习范式展开，提供551对训练偏好样本及40个对抗性评估实例，覆盖电子邮件起草、概念解释、语气改写等18种上下文类别。研究者可基于该数据集，运用直接偏好优化（DPO）等算法，引导模型区分何时采用流畅散文体、何时保留结构化表达，从而实现对格式化风格的精准调校。

实际应用

在日常生产力场景中，FormatBench的训练能直接提升大语言模型在邮件润色、概念解释、学术写作等任务中的输出自然度。经过微调的模型能避免将用户请求转化为模板化清单，而是根据上下文自动匹配适宜的文体形式—例如在菜谱或安装指南中保留整洁的步骤列表，在信件或叙事中采用流畅的散文结构。这一能力对于构建面向普通用户的对话式助手、专业写作辅助工具及个性化内容生成系统具有显著价值。

衍生相关工作

FormatBench催生了一系列关于格式化偏好减轻方法的研究分支，其中首个典型案例是基于该数据集对Qwen 2.5 1.5B-Instruct模型进行DPO+LoRA微调，成功实现散文体场景中段落标记减少75%并完全消除标题格式。此工作与Rafailov等人（2023）的直接偏好优化框架紧密衔接，同时推动了对抗性评估策略在偏好学习中的标准化应用。未来工作已规划通过多作者数据集扩展、更高秩LoRA及更紧KL约束来进一步提升模型对上下文格式的适配精度。