datumo/Feedback-Bench

BENCHMARK-Feedback-Bench-v0.1 是一个用于测量基于量规的评估能力（rubric following）的基准数据集。它旨在比较评估器在韩语环境（Ko Feedback Bench）和英语环境（Feedback Bench）下的性能，并用于验证所提出评估器的量规遵循能力。数据集总共有2000个实例，平均分为两个子集：ko_feedback_bench（1000个韩语实例）和feedback_bench（1000个英语实例）。每个实例使用5点量表（1-5分）进行标注。数据集基于原始的Feedback Bench（Kim et al., 2024a）构建，但采用了无参考（reference-free）设置和基于辩论（debate）的重新标注过程，以更真实地反映工业评估环境并严格测量评估器的独立量规遵循能力。韩语子集是通过将原始英语的指令、量规和模型响应翻译成韩语并经过审核后构建的，而英语子集则是在移除参考答案后通过相同的辩论过程重新标注的。数据集包含多个特征字段，如原始指令、评估标准、各分数点的量规描述、模型响应、用户提示、系统提示和原始分数。需要注意的是，韩语版本可能存在机器翻译带来的噪声，且数据集的标签是基于共识的，更多反映与共识标注标准的一致性而非绝对评估质量。BENCHMARK-Feedback-Bench-v0.1 is a benchmark dataset designed to measure rubric-following evaluation capabilities. It is used to compare the performance of evaluators in Korean (Ko Feedback Bench) and English (Feedback Bench) environments, and to validate the rubric-following ability of proposed evaluators. The dataset contains a total of 2,000 instances, split evenly into two subsets: ko_feedback_bench (1,000 Korean instances) and feedback_bench (1,000 English instances). Each instance is labeled on a 5-point scale (1–5). The dataset is based on the original Feedback Bench (Kim et al., 2024a) but employs a reference-free setting and a debate-based relabeling process to better reflect real-world industrial evaluation scenarios and rigorously measure the evaluators independent rubric-following ability. The Korean subset was constructed by translating the original English instructions, rubrics, and model responses into Korean, followed by review, while the English subset was reconstructed by removing reference answers and relabeling through the same debate process. Key features include original instruction, evaluation criteria, rubric descriptions for each score point, model response, user prompt, system prompt, and original score. It should be noted that the Korean version may contain noise due to machine translation, and the dataset labels are consensus-based, reflecting alignment with consensus labeling standards rather than absolute evaluation quality.

搜集汇总

数据集介绍

构建方式

Feedback-Bench数据集的构建根植于现有的Feedback Bench基准（Kim et al., 2024a），旨在评估语言模型在无参考答案情境下遵循评分细则的能力。针对韩语环境，研究者通过机器翻译将原始英文数据中的指令、评分标准及模型响应转化为韩语，并经过人工审核以确保语义流畅。为排除参考答案的干扰，所有实例均采用无参考设置。最终，通过多模型辩论达成共识的方法，为每个实例重新分配1至5分的标签，构建了包含1000个韩语实例的Ko Feedback Bench。同时，英语子集也经过去除参考答案并执行相同的辩论重标注流程，从而生成一个结构对等的1000实例英语基准。

特点

该数据集的核心特点在于其双语言对比结构，包含韩语（Ko Feedback Bench）和英语（Feedback Bench）两个子集，各含1000个精心标注的实例。每个实例均包含原始指令、详细五点评分量表描述、模型响应及通过辩论机制产生的统一标签。数据集的独特之处在于采用无参考设定，模拟实际评估中缺乏绝对标准的情境，从而严苛检验评估者的独立评分遵循能力。此外，辩论重标注过程剔除单一模型偏见，增强了标签的稳健性，使其成为衡量评估模型在不同语言环境下遵循评分细则能力的权威工具。

使用方法

使用Feedback-Bench数据集时，研究者可直接加载HuggingFace上的数据字典，其中'ko_feedback_bench'和'feedback_bench'两个键分别对应韩语和英语子集。每个子集提供统一的特征字段，包括用户提示、系统提示、原始指令、评分细则及其对应的五分制描述，以及模型响应和辩论后所得的标签。数据集适用于微调或评估语言模型作为评估者的能力。使用时需注意，标签反映的是多模型辩论共识而非绝对质量标准，因此分析应侧重于模型与共识标注的匹配程度。此外，韩语子集的翻译噪声需在结果解读中予以考量，但无参考设定使其能公正反映评估者的独立判断能力。

背景与挑战

背景概述

自然语言处理领域中，评估模型文本生成质量一直是核心难题，传统评测手段如自动化指标或人工标注往往难以兼顾效率与鲁棒性。在此背景下，韩国研究者权容勋于2026年主导构建了Feedback-Bench数据集，该工作基于Kim等人2024年提出的原始英文基准进行了扩展与语言适配。核心研究问题聚焦于评估模型（evaluator）的“遵循评分准则能力（rubric following）”，即是否能在无参考回答的条件下，严格根据给定的多级别量规做出一致的定量评分。该数据集提供了2000条结构化实例，涵盖韩语和英语两种语言，每种语言各1000条，旨在系统比较不同语言环境中评估器行为的异同。通过引入辩论驱动的重标签机制并剔除参考文本，该工作强化了评测的独立性，为构建更可信的自动评估工具奠定了重要基础，推动了多语言语言模型对齐研究的发展。

当前挑战

Feedback-Bench面对的挑战涵盖两个层面。在领域问题层面，它试图应对评估器在复杂评分准则理解上的不稳定性，即人工设定的量规往往存在语义重叠或边界模糊，导致模型给出表面合理却失真的分数，该数据集试图量化这一偏差。在构建过程方面，其技术挑战尤为显著：第一，韩语子集的生成高度依赖机器翻译，这种跨语言迁移不可避免地引入语义失真与表达不自然的噪声；第二，沿用辩论式重标签机制虽然增强了标签的内聚性，但若该机制本身偏倚于某种评分风格，则所构建的基准可能仅反映合意过程而非绝对评估质量；第三，删除参考回答的设计虽提高了评测情境的真实性，但也弱化了标签的客观锚点，使得评分可解释性降低。这些挑战共同制约着数据集在未见过评估器上的泛化评估力。

常用场景

经典使用场景

Feedback-Bench及其韩语扩展版本Ko-Feedback-Bench，专为评估语言模型作为评判者（evaluator）时遵循评分标准（rubric following）的能力而设计。该数据集包含2000个实例，横跨韩语与英语两种语言，每个实例均提供原始指令、细化评分标准、各分数段描述以及模型应答，并采用无参考答案（reference-free）的设置。其经典用途在于通过辩论协商（debate-based）重新标注的5分制标签，系统性地衡量评判模型是否能够严格依据给定标尺进行打分，而非依赖内在偏好或领域知识。

实际应用

在实际产业界，该数据集为构建高质量AI反馈系统注入了可量化的质量准绳。例如，在教育领域，智能辅导系统可利用本基准筛选出最能准确依照学科评分标准（如作文评分、代码作业审阅）的评判模型，从而提升自动反馈的公正性与一致性。在内容审核与问答系统评测中，开发团队能借此验证其评判器是否严格遵循公司内部制定的内容合规或质量标尺，降低人工复核成本，确保规模化部署时评估水准的稳定与可信。

衍生相关工作

作为Feedback Bench（Kim et al., 2024a）的衍生变体，Feedback-Bench不仅实现了数据集的韩语化迁移，更开创了跨语言评判一致性研究的先河。其引入的辩论式重新标注机制，启发了后续关于多模型共识校准（consensus calibration）的工作，例如探讨如何通过不同大语言模型间的讨论来逼近真实评分。此外，去参考化评估设定直接催生了进一步研究——如探索弱监督标签如何通过评审对话获得鲁棒性提升，以及跨语言评分规则迁移中的偏差矫正方法。