FormatBench: LLM Formatting Bias Dataset

kaggle2026-05-29 更新2026-06-17 收录

下载链接：

https://www.kaggle.com/datasets/techiekd/formatbench-llm-formatting-bias-dataset

下载链接

链接失效反馈

官方服务：

资源简介：

551 DPO preference pairs across 18 real-world contexts

551个DPO（Direct Preference Optimization）偏好配对样本，覆盖18个真实世界场景

创建时间：

2026-05-19

formatbench

FormatBench是一个用于纠正大型语言模型格式化偏好的偏好学习数据集，旨在解决经过RLHF训练的LLM系统性地过度格式化输出（如默认使用项目符号、加粗标题和模板化结构）的问题，即使在流畅的散文更能服务读者时也是如此。数据集包含两个配置：默认配置有551个训练偏好对，覆盖18个上下文类别（如电子邮件起草与润色、概念解释、决策建议、学术写作、语气改写等），其中chosen响应为更合适的散文形式，

Hugging Face2026-06-07 更新00

Attribution Bias in LLMs

A controlled experiment involving two event types, two attribution perspectives, four social attributes, and prompt-based interventions was conducted across five LLMs, including ChatGPT and four leadi

Mendeley Data00

krishy-d/formatbench

FormatBench是一个偏好数据集，旨在纠正大型语言模型（LLM）的格式化偏见。该数据集解决LLM在RLHF训练后系统性地过度格式化输出（如默认使用项目符号、粗体标题和模板化结构）的问题，即使流畅的散文更适合读者。数据集包含两个配置：default配置（551个训练偏好对，覆盖18个上下文类别，其中chosen为散文响应，rejected为过度格式化响应）和adversarial配置（40个仅

Hugging Face2026-05-29 更新00

LLM HR Bias

Benchmarking LLM bias in simulated HR hiring decisions

kaggle2025-08-28 更新50

Attribution Bias in LLMs

NIAID Data Ecosystem00