llm-aes/llmeval2-annotated-latest

---
dataset_info:
features:
- name: task
dtype: string
- name: worker
dtype: string
- name: human_label
dtype: int64
- name: llm_label
dtype: int64
- name: generator_1
dtype: string
- name: generator_2
dtype: string
- name: instruction
dtype: string
- name: output_1
dtype: string
- name: output_2
dtype: string
- name: sub_dataset
dtype: string
- name: swap_equal
dtype: bool
splits:
- name: train
num_bytes: 2400464
num_examples: 1600
download_size: 193743
dataset_size: 2400464
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

数据集信息：
特征字段：
- 字段名：任务（task），数据类型：字符串类型
- 字段名：标注者（worker），数据类型：字符串类型
- 字段名：人工标注标签（human_label），数据类型：64位整型
- 字段名：大语言模型标注标签（llm_label），数据类型：64位整型
- 字段名：生成模型1（generator_1），数据类型：字符串类型
- 字段名：生成模型2（generator_2），数据类型：字符串类型
- 字段名：指令（instruction），数据类型：字符串类型
- 字段名：输出结果1（output_1），数据类型：字符串类型
- 字段名：输出结果2（output_2），数据类型：字符串类型
- 字段名：子数据集（sub_dataset），数据类型：字符串类型
- 字段名：交换等价性（swap_equal），数据类型：布尔类型
数据集划分：
- 划分名称：训练集（train），占用字节数：2400464，样本数量：1600
下载总大小：193743，数据集总大小：2400464
数据集配置：
- 配置名称：默认配置（default），数据文件：
- 划分：训练集（train），文件路径：data/train-*

原始信息汇总

数据集概述

数据集特征

• task: 数据类型为字符串（string）
• worker: 数据类型为字符串（string）
• human_label: 数据类型为整数（int64）
• llm_label: 数据类型为整数（int64）
• generator_1: 数据类型为字符串（string）
• generator_2: 数据类型为字符串（string）
• instruction: 数据类型为字符串（string）
• output_1: 数据类型为字符串（string）
• output_2: 数据类型为字符串（string）
• sub_dataset: 数据类型为字符串（string）
• swap_equal: 数据类型为布尔值（bool）

数据集分割

• train:
  • 字节数: 2400464
  • 示例数: 1600

数据集大小

• 下载大小: 193743字节
• 数据集大小: 2400464字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*

搜集汇总

数据集介绍

构建方式

该数据集名为llm-aes/llmeval2-annotated-latest，其构建聚焦于大语言模型输出质量的自动化评估任务。数据来源于多任务场景下不同生成模型的响应，通过系统化采集指令、双模型输出及人类与LLM的标注信息，形成结构化样本。每个样本包含任务类型、工作者标识、人类标注标签、LLM标注标签、两个生成器名称及其对应输出、指令文本、子数据集归属以及是否交换相等的布尔标记。数据以1600条训练样本构成单一训练集，文件采用分片存储，确保了数据加载的便捷性与扩展性。

特点

该数据集的特点在于其多维度的标注对比机制，同时包含人类专家与LLM的评判标签，为评估模型对齐性提供了直接对照。字段设计突出双生成器输出对比，支持同指令下不同模型表现的横向比较。子数据集标签与交换相等标记进一步增强了数据集的灵活性，可用于分析标注一致性或偏差。整体结构紧凑，1600条样本规模适中，兼顾了实验效率与统计可靠性，适用于小样本训练与快速验证。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，指定配置名为'default'并读取训练分片。数据加载后，可提取指令、输出对及标签字段，用于训练排序或评分模型。研究人员可基于human_label与llm_label构建二分类任务，或利用generator字段进行模型身份识别。此外，swap_equal标记可用于过滤或分析对称性样本，sub_dataset字段支持按子领域划分的专项评估。建议结合交叉验证策略，以充分利用1600条样本的统计效力。

背景与挑战

背景概述

在大语言模型（LLM）迅速发展的背景下，如何客观且可靠地评估模型生成文本的质量成为自然语言处理领域的核心议题。传统的人工评估虽准确但成本高昂、效率低下，而自动化评估指标又难以全面捕捉语义、流畅性与任务适配性等细微差异。为填补这一空白，llm-aes/llmeval2-annotated-latest数据集应运而生，由研究团队于近期构建并发布，旨在为LLM输出对比评估提供标准化基准。该数据集聚焦于“模型偏好判断”任务，记录了人类标注员与多种LLM对两组文本输出的偏好标签，覆盖不同子任务场景，为研究人机评估一致性、自动化评估器校准以及模型对齐优化提供了关键数据支撑，对推动评估方法论演进具有重要影响。

当前挑战

当前该数据集面临的核心挑战集中在三个层面：其一，领域问题层面，如何设计能够泛化至多样化任务（如摘要、对话、翻译）的评估框架仍具难度，现有偏好标签可能受任务类型与输出长度偏差影响；其二，构建过程中，人工标注的主观性难以完全消除，不同标注员对“质量”的认知差异可能导致标签噪声，而LLM自动标注又存在自偏好或位置偏差等系统性错误；其三，数据规模有限（仅1600条训练样本），难以覆盖长文本、多轮交互等复杂场景，且缺乏跨语言、跨领域的扩展验证，制约了其在真实部署中的鲁棒性与公平性评估能力。

常用场景

经典使用场景

在大型语言模型（LLM）的评估与对齐研究中，llm-aes/llmeval2-annotated-latest 数据集作为一项关键的基准资源，被广泛用于训练和验证自动评估系统。该数据集包含1600条精心标注的样本，每条样本均包含人类标注的标签（human_label）与来自不同LLM的自动评估标签（llm_label），覆盖多种任务指令（instruction）和生成输出（output_1, output_2）。研究者常利用这些配对数据来训练一个能够模拟人类判断的评分模型，或用于比较不同LLM在特定任务上的表现差异。其经典使用场景聚焦于构建可靠的自动评估器，从而替代昂贵且耗时的人工评估流程，推动LLM性能评测的标准化与规模化。

解决学术问题

该数据集直击大型语言模型评价领域中一个核心学术难题：如何高效、客观且可复现地衡量模型生成质量。传统依赖人工评估的方法不仅成本高昂，且受主观因素影响大，难以在学术研究中形成统一比较标准。通过提供人类与LLM的标注对比数据，llm-aes/llmeval2-annotated-latest 使得研究者能够系统性地探究自动评估与人类判断之间的差异与一致性，进而开发出更贴近人类偏好的评分算法。其意义在于为LLM的对齐研究（如RLHF）提供了可靠的监督信号来源，促进了评估指标从单一自动化分数向多维度、细粒度理解的演进，深刻影响了模型优化与理论验证的范式。

衍生相关工作

围绕该数据集，学术界与工业界衍生了一系列重要工作。一方面，研究者基于其标注结构提出了多种元评估方法（meta-evaluation），例如利用human_label与llm_label的差异训练校准模型，或设计对抗性样本以检验自动评估器的鲁棒性。另一方面，该数据集启发了诸如“评估者评估”（Evaluating Evaluators）和“偏好对齐网络”（Preference Alignment Network）等经典框架，这些工作进一步将评估任务从单一分数预测拓展为多模态、多任务的联合学习。此外，其子数据集划分（sub_dataset）支持了跨领域迁移学习的研究，催生了针对数学推理、代码生成等专项评估任务的专用模型，显著丰富了LLM评估的理论工具箱。