krishy-d/formatbench

FormatBench是一个偏好数据集，旨在纠正大型语言模型（LLM）的格式化偏见。该数据集解决LLM在RLHF训练后系统性地过度格式化输出（如默认使用项目符号、粗体标题和模板化结构）的问题，即使流畅的散文更适合读者。数据集包含两个配置：default配置（551个训练偏好对，覆盖18个上下文类别，其中chosen为散文响应，rejected为过度格式化响应）和adversarial配置（40个仅用于评估的示例，覆盖需要结构化输出的上下文，如食谱、安装说明，其中chosen为清洁结构，rejected为冗长散文）。数据用于DPO训练，以帮助模型学习根据上下文选择适当的格式化风格，而非盲目避免结构。数据集还包括类别细分（如电子邮件起草、概念解释等）、对抗集的重要性（防止模型学习错误模式），以及构建方法（通过LLM辅助和人工策划生成）。限制包括单作者声音、仅英语、无人口统计多样性和适度规模。FormatBench is a preference dataset developed to rectify the formatting bias of large language models (LLMs). This dataset addresses the systematic over-formatting problem in LLM outputs post-RLHF training, such as defaulting to bullet points, bold headings, and templated structures, even when fluent prose is more appropriate for readers. The dataset includes two configurations: the default configuration (551 training preference pairs covering 18 contextual categories, where the "chosen" response is prose-style output and the "rejected" response is over-formatted content) and the adversarial configuration (40 evaluation-only examples covering contexts requiring structured outputs, such as recipes and installation instructions, where the "chosen" response is clean structured content and the "rejected" response is verbose prose). The dataset is utilized for DPO training to help models learn to select appropriate formatting styles based on context, rather than blindly avoiding structured outputs. It also includes category breakdowns (e.g., email drafting, concept explanation, etc.), the significance of the adversarial set (preventing models from learning erroneous patterns), and its construction approach (generated via LLM-aided and human curation). Limitations of the dataset include a single authorial voice, English-only content, lack of demographic diversity, and a moderate scale.

搜集汇总

数据集介绍

构建方式

FormatBench数据集旨在矫正大型语言模型在RLHF过程中产生的过度格式化输出偏差。其构建过程融合了人工精修与LLM辅助生成技术。在主数据集中，被拒绝的响应刻意模仿了前沿模型（如GPT-4、Claude）常见的格式化失败模式——包括表情符号前缀列表、加粗段落标签、以及“关键要点”类装饰性框体；而优选响应则被精心编写为符合上下文的流畅散文，并在语气上刻意展现多样化。对抗性数据集反转了这一模式，采用清晰的结构化格式（如编号步骤、表格），以测试模型是否真正习得了“按需格式化”的能力。所有生成脚本均已开源，确保构建过程的完全可复现。

特点

该数据集包含两个配置：默认集包含551个偏好对，覆盖18个上下文类别，其中电子邮件类占据最大比例（约43%），精准对应真实世界中LLM过度格式化问题的高发场景；对抗集包含40个评估样本，涵盖食谱、安装指南、对比表格、故障排查和参考查询等结构格式真正必要的领域。数据集的关键创新在于引入对抗性测试集以鉴别模型是否陷入了“一贯避免结构化”的捷径。每条记录包含提示、优选与拒绝响应、上下文标签，部分条目额外标记了语气领域和话题区域，为细粒度分析提供了丰富维度。

使用方法

FormatBench可通过datasets库直接加载，以支持直接偏好优化（DPO）训练。推荐评估协议包含两项核心指标：在主数据集保留测试集上的胜率，用于衡量模型生成散文响应相较于基线的提升程度；以及在对抗集上的结构化保留率，用于验证模型是否在需要结构化输出的场景中仍能保持恰当格式。一个在两项指标上表现良好但对抗得分偏低的模型，表明其已陷入奖励黑客陷阱。数据集适配TRL库的DPOTrainer接口，用户可快速将模型与tokenizer传入训练器，并设定beta参数等超参数即可启动偏好对齐训练。

背景与挑战

背景概述

FormatBench是由Krishna Dahale于2026年创建并发布的一个偏好数据集，旨在解决大语言模型在RLHF训练中产生的系统性格式化偏见问题。源自Prosify项目，该数据集专注于纠正模型默认输出项目符号、粗体标题和模板化结构的倾向，即使流畅的散文体更符合用户需求。数据集包含551个训练偏好对和40个对抗性评估样本，覆盖18种上下文类别，邮件撰写与润色占比约43%，体现了真实场景中格式化偏见的典型表现。其核心贡献在于首次将格式风格作为可学习的偏好信号从RLHF的长度偏差中分离出来，为提升模型输出的情境适配性提供了关键基准。该工作填补了公开数据集中对文本格式偏好学习的空白，对推动大语言模型在写作辅助、沟通优化等实际应用中的自然度与有效性具有重要影响。

当前挑战

FormatBench首要解决的是RLHF驱动的模型系统性过度格式化问题，这一挑战源于奖励模型无意识地对表面特征（如项目符号）给予正向激励，导致模型忽视上下文对散文体的合理需求。构建过程中面临双重困难：一是需要生成能够真实反映当代顶尖模型（如GPT-4、Claude）失败模式的高质量偏好对，这要求精心伪造包含表情符号前缀、粗体段落标签等典型人工痕迹的rejected样本；二是设计对抗性评估集以区分模型是学习了‘避免所有结构’的捷径还是‘匹配格式与上下文’的真实模式，避免RLHF特有的奖励黑客行为。此外，数据集规模有限（591例），且由单一注释者完成，引入了个体化散文风格偏差，如何在有限资源下实现泛化能力的可信评估构成了额外的技术挑战。

常用场景

经典使用场景

FormatBench的核心应用在于基于人类偏好学习对大语言模型进行文体对齐微调，以纠正模型输出中普遍存在的过度格式化倾向。研究者和工程师可利用该数据集中的偏好对（prose优于格式化文本），配合DPO、PPO等对齐算法，对基础模型进行训练，使其在电子邮件撰写、概念解释、决策建议等需流畅散文体表达的语境中，自觉抑制对项目符号、加粗标题等模板化结构的滥用，从而生成更自然、更符合人类阅读习惯的回复。

衍生相关工作

FormatBench推动了文体对齐与偏好优化研究的交叉融合，其核心理念已催生了一系列后续工作。基于该数据集，研究者训练出首个Prosify模型（krishy-d/prosify_qwen_1.5b_lora），实证了75%的项目符号降低率与标题的完全消除，验证了DPO在纠正格式化偏差上的有效性，同时揭示了奖励破解的潜在风险。该工作为分析RLHF中表面特征（如格式）与回复质量之间的相关性提供了新范例，并激励了后续旨在构建更大规模、多作者、多语言的文体偏好数据集（如FormatBench v2）的探索，进一步拓展了偏好学习的研究边界。

数据集最近研究

最新研究方向

FormatBench数据集聚焦于大语言模型在RLHF训练中产生的格式化偏置问题，即模型倾向于过度使用项目符号、粗体标题等结构化输出，即便在上下文更适合流畅散文的场景下亦如此。该方向与Singhal等人揭示的长度偏置一脉相承，但首次将格式化风格作为独立偏好信号进行建模。通过包含551个训练偏好对及40个对抗性测试样本，FormatBench不仅要求模型在散文场景中抑制格式化倾向，还需在食谱、安装指南等结构化场景中保留适当的排版，从而避免'奖励黑客'——即模型简单粗暴地移除所有格式。这一前沿探索为提升LLM在真实应用中的文体适应性提供了关键方法论，其意义在于推动偏好对齐从粗粒度的质量评判迈向更细致的风格调控，对电子邮件润色、概念解释等高频场景具有直接价值。