llm-aes/MT-Bench_Evaluated

---
dataset_info:
features:
- name: task_id
dtype: string
- name: worker_id
dtype: string
- name: human_label
dtype: int64
- name: llm_label
dtype: int64
- name: generator_1
dtype: string
- name: generator_2
dtype: string
- name: instruction
dtype: string
- name: output_1
dtype: string
- name: output_2
dtype: string
- name: sub_dataset
dtype: string
- name: swap_equal
dtype: bool
splits:
- name: train
num_bytes: 3718565
num_examples: 1600
download_size: 360562
dataset_size: 3718565
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

dataset_info:
特征字段:
- 名称: task_id，数据类型: string
- 名称: worker_id，数据类型: string
- 名称: human_label，数据类型: int64
- 名称: llm_label，数据类型: int64，即大语言模型标注标签（Large Language Model，LLM）
- 名称: generator_1，数据类型: string
- 名称: generator_2，数据类型: string
- 名称: instruction，数据类型: string
- 名称: output_1，数据类型: string
- 名称: output_2，数据类型: string
- 名称: sub_dataset，数据类型: string
- 名称: swap_equal，数据类型: bool，即输出交换等价性
splits:
- 名称: train，字节数: 3718565，样本数量: 1600
download_size: 360562
dataset_size: 3718565
configs:
- config_name: default，即默认配置
data_files:
- split: train，即训练集划分
path: data/train-*

原始信息汇总

数据集概述

数据集特征

• task_id: 数据类型为字符串（string）
• worker_id: 数据类型为字符串（string）
• human_label: 数据类型为整数（int64）
• llm_label: 数据类型为整数（int64）
• generator_1: 数据类型为字符串（string）
• generator_2: 数据类型为字符串（string）
• instruction: 数据类型为字符串（string）
• output_1: 数据类型为字符串（string）
• output_2: 数据类型为字符串（string）
• sub_dataset: 数据类型为字符串（string）
• swap_equal: 数据类型为布尔值（bool）

数据集分割

• train:
  • 数据大小: 3718565字节
  • 示例数量: 1600

数据集大小

• 下载大小: 360562字节
• 数据集总大小: 3718565字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

在大型语言模型评估领域，人工标注与自动评估的对比研究日益受到关注。llm-aes/MT-Bench_Evaluated数据集基于MT-Bench基准构建，通过系统化采集人类评估者与多个语言模型对同一指令生成的回答对，形成结构化比对数据。每条样本包含任务标识、标注者信息、人类标注分数、模型标注分数、两个生成模型的名称及对应输出，并特别设计了交换相等性标记以控制顺序偏差。数据集共包含1600条训练样本，覆盖多维度对话场景，为评估模型间一致性提供了严谨的对照框架。

特点

该数据集的核心特色在于其双轨标注架构与精细化控制设计。通过同时记录人类专家与语言模型的评分标签，研究者可直接比较不同评估主体的判断差异。引入swap_equal布尔字段标记输出顺序是否影响评估结果，有效消除了位置偏差对分析的影响。此外，数据集保留了完整的生成模型元数据与原始指令文本，支持对特定模型组合或任务类型的深度剖析，为检验自动评估方法的可靠性提供了稀缺的实证基础。

使用方法

研究者可直接加载默认配置的train分片，利用human_label与llm_label字段计算评估一致性指标，如Kappa系数或准确率。通过groupby操作按generator_1与generator_2组合分组，可分析特定模型对的评分偏差模式。借助sub_dataset字段筛选特定子集，结合swap_equal过滤顺序敏感样本，能开展更细致的鲁棒性检验。数据集的JSON结构兼容主流机器学习框架，便于快速集成到模型评估管线中。

背景与挑战

背景概述

在大规模语言模型（LLM）能力评估领域，传统自动化评测指标难以捕捉生成文本的细微质量差异，而人工评估虽准确却成本高昂且不可扩展。为此，研究者构建了MT-Bench_Evaluated数据集，旨在提供一个多任务、多轮对话的基准测试平台，用于比较不同LLM在复杂指令下的表现。该数据集由llm-aes团队于2023年发布，核心研究问题聚焦于如何利用人类标注与LLM自动标注的对比，量化模型间的相对优势，并探索自动评估替代人工判断的可行性。MT-Bench_Evaluated包含1600条经过精心设计的指令-输出对，覆盖写作、推理、编程等八类任务，其引入的“交换等值”机制有效控制了位置偏差，为LLM评估领域树立了新的标杆，显著推动了自动化评估方法的发展。

当前挑战

该数据集面临的核心挑战在于构建可靠且泛化的自动评估体系。首先，在领域问题层面，LLM生成文本的开放性导致单一自动评估指标（如基于参考的BLEU或基于分类的胜率）难以全面反映人类偏好，需设计能捕捉语义、逻辑与创造性的多维度评估方案。其次，构建过程中，数据集通过人类与LLM标签的对比来验证自动评估的有效性，但人类标注者间存在评分不一致性，且LLM作为评估者可能继承自身偏见（如对特定风格输出的偏好）。此外，指令设计的覆盖广度与难度平衡是另一难点：任务需足够多样以测试模型泛化能力，但过难或过简的指令会降低评估区分度。最后，数据集的1600条样本规模相对有限，在统计显著性上可能不足以支撑对高性能模型间微小差异的可靠检测。

常用场景

经典使用场景

MT-Bench_Evaluated数据集在大型语言模型评估领域占据着举足轻重的地位，其最经典的使用场景是对比不同生成模型在复杂多轮对话任务中的表现。该数据集精心设计了涵盖写作、角色扮演、推理等多维度的指令集合，通过人类标注与自动化评估相结合的方式，系统性地衡量模型在遵循指令、生成连贯且富有信息量回复方面的能力。研究者常借助此数据集，对模型进行细粒度的性能剖析，从而揭示各模型在特定能力维度上的优势与短板。

衍生相关工作

MT-Bench_Evaluated数据集催生了一系列具有深远影响的衍生工作，其中最具代表性的是基于该数据集构建的自动化评估指标研究，例如利用强语言模型（如GPT-4）作为评判员来替代人工标注的探索。此外，该数据集还激发了针对模型对齐性、安全性与鲁棒性的专项分析工作，研究者通过分析人类与模型标签的差异，深入揭示了当前模型在价值判断和事实准确性方面的潜在偏差。这些衍生工作不仅丰富了评估方法论，也为后续构建更可靠、更透明的大规模语言模型奠定了重要基础。

数据集最近研究

最新研究方向

在大语言模型飞速迭代的背景下，MT-Bench_Evaluated数据集聚焦于模型生成内容的质量评估这一核心议题。前沿研究方向正从单一的人工评价转向人机协同的自动化评估范式，该数据集通过记录人类标注与多种LLM裁判对模型输出的对比得分，为构建可信赖的自动评估指标提供了基准。近期热点事件包括各大模型厂商竞相发布长上下文与多轮对话模型，而MT-Bench_Evaluated恰好能针对这些复杂交互场景进行细粒度评测，其1600条精心设计的指令样本覆盖了从常识推理到代码生成的多元任务。这一数据集的意义在于推动了评估标准的透明化与可复现性，使研究者能够系统性地分析不同模型在特定任务上的优劣，进而引导模型朝着更安全、更对齐人类偏好的方向进化，对构建负责任的AI生态具有奠基作用。