IFLLM

IFLLM是一个用于LLM对齐的隐式反馈数据集，包含来自59名Mechanical Turk工人的1,336个多轮LLM对话，配对了网络摄像头记录的眼动和鼠标移动轨迹数据。该数据集用于训练奖励模型（超越仅文本基线，配对准确率从约55%提升至64%）并通过rDPO + NLL对齐八个1-4B规模的LLM，从而在响应质量上实现可测量的提升。IFLLM is an implicit feedback dataset for large language model (LLM) alignment. It encompasses 1,336 multi-turn LLM conversations sourced from 59 Mechanical Turk workers, paired with eye-tracking and mouse movement trajectory data captured via webcams. This dataset is utilized for training reward models, which outperform text-only baselines with their pairing accuracy improved from approximately 55% to 64%; additionally, it is employed to align eight 1–4B scale LLMs via rDPO + NLL, resulting in measurable enhancements to response quality.

原始信息汇总

数据集概述

数据集名称： IFLLM (Implicit Feedback for LLM Alignment)

核心内容： 一个包含 1,336 次多轮 LLM 对话的数据集，数据来自 59 名 Mechanical Turk 工作人员，并配有用网络摄像头记录的眼动轨迹和鼠标移动轨迹。

研究目标： 利用这些隐式反馈信号（眼动和鼠标行为）训练奖励模型，以改进大语言模型的对齐效果。

主要成果：

• 训练出的奖励模型在成对准确率上优于纯文本基线（从约 55% 提升至 64%）。
• 通过 rDPO + NLL 方法对齐了 8 个 1B 到 4B 参数规模的 LLM，在回复质量上取得了可衡量的提升，优于纯文本奖励和显式反馈奖励。

数据集结构

数据集包含以下核心文件，均位于 dataset/ 文件夹内：

• query_logs_table.csv：包含查询、LLM 回复以及偏好标签。
• record_info_table.csv：包含工作人员的人口统计信息。
• task_table.csv：包含每个任务的摘要信息。
• user_behavior/<worker>/<task>/*.csv：包含每位工作人员在每个任务中的眼动和鼠标移动轨迹数据。

处理流程

1. 数据收集 (eye_gazing_LLM/)：一个基于 PHP/JS 的研究网站，用于运行 MTurk 实验。该网站提供问答界面，运行 WebGazer 校准，并将原始眼动/鼠标轨迹、查询、回复和偏好数据写入数据库。
2. 特征提取 (NLP-Gazing/)：读取 query_logs_table.csv 和 user_behavior/ 目录，将每个眼动样本与用户正在阅读的查询进行匹配，并提取约 426 个偏好比较相关的特征（如阅读位置、停留时间、注意力窗口等）。
   • 产出文件： output/extracted_features.csv
3. 数据集组装与基线模型 (feature_creator/)：整合 extracted_features.csv、query_logs_table.csv、all_metrics.csv（来源未指明）和 task_table.csv，构建成对和逐点特征版本，并训练论文中报告的随机森林奖励模型。
   • 产出文件： pairwise_output/*.csv、pointwise_output/*.csv 以及用于下游 DPO 的 OOF 偏好预测。
4. 基于 Transformer 的奖励模型 (llm_reward/)：使用 ModernBERT、Longformer、DistilBERT 等模型，通过 5 折交叉验证训练成对（分类）和逐点（回归）的奖励模型，作为论文中奖励模型表格的纯文本和文本+隐式反馈基线。
5. LLM 对齐 (dpo_eye_gazing/)：在 8 个基础模型上通过 rDPO + NLL 方法进行对齐，使用来自 feature_creator/ 或 llm_reward/ 的偏好预测作为 DPO 标签来源，并使用 GPT-4.1-mini 作为评估法官。
   • 对齐的模型： GPT2-XL, Pythia 2.8B, OLMo2 1B, Llama3.2 3B, Qwen2.5 1.5B/3B, Qwen3 1.7B/4B。

搜集汇总

数据集介绍

构建方式

IFLLM数据集由来自59名亚马逊土耳其机器人（Mechanical Turk）工作者参与的多轮大型语言模型对话构成，共计1,336条对话记录。研究团队通过定制的PHP/JS实验网站采集数据，该网站集成了WebGazer眼动追踪校准模块，在用户与LLM交互过程中同步录制了webcam记录的凝视轨迹与鼠标移动轨迹。原始数据经过匿名化处理后存储在dataset目录中，包含查询日志、工作者人口统计信息、任务摘要及详尽的用户行为轨迹文件。

使用方法

使用该数据集时，首先需从dataset文件夹中获取核心输入文件：query_logs_table.csv、record_info_table.csv、task_table.csv以及user_behavior目录。随后通过NLP-Gazing模块提取约426维的行为特征，这些特征与用户阅读位置、驻留时间、注意力窗口及眼动与鼠标相关性相关。接着利用feature_creator将特征与元数据融合，构建用于训练随机森林或逻辑回归奖励模型的输入。最终，可将这些隐式偏好预测作为DPO标签源，通过dpo_eye_gazing管线对8种基础LLM进行基于rDPO+NLL的对齐优化，并使用GPT-4.1-mini作为评判模型评估生成质量。

背景与挑战

背景概述

在大规模语言模型（LLM）与人类偏好对齐的研究中，传统方法依赖用户显式反馈（如点赞或评分），然而此类反馈往往稀疏、延迟且受限于用户的主动表达意愿。针对这一局限，马萨诸塞大学阿默斯特分校与约克大学的研究团队于2024年提出了IFLLM数据集，由Haw-Shiuan Chang、Jeffrey Gomez、Mehul Patwari等学者主导构建。该数据集包含来自59名Amazon Mechanical Turk工作者的1,336轮多轮对话，并同步记录了眼动追踪与鼠标移动轨迹等隐式反馈信号。核心研究问题在于：能否利用用户在交互过程中的无意识行为信号——如凝视位置、阅读时间、鼠标−视线关联——替代或补充显式偏好标签，从而更高效、更自然地引导LLM生成符合用户期待的回答。IFLLM的出现为隐式反馈驱动的对齐研究提供了标准化基准，推动了奖励模型与LLM偏好优化方法的发展。

当前挑战

IFLLM所面临的挑战首先在于领域问题层面：如何从高噪声、低信噪比的隐式行为信号（如眼动轨迹和鼠标移动）中提取出与人类偏好强相关的特征，并训练出超越纯文本基线的奖励模型。传统方法依赖用户明确的偏好表达，而隐式反馈易受个体差异、任务类型、界面布局等干扰因素影响，信号有效性与泛化性是关键瓶颈。其次，在数据集构建过程中，研究团队需应对多重技术挑战：通过WebGazer进行无校准眼动追踪时，摄像头视角、光照条件及用户配合度均会影响数据质量；同时，需设计合理的实验协议，在确保隐私与伦理合规的前提下，对59名工人的行为数据进行匿名化处理与质量控制，最终剔除24名低质量工人后方可进入建模流程。此外，多模态时间序列数据（如视点采样与鼠标事件）的高频采集与协同标注亦对数据处理管线提出了严峻考验。

常用场景

经典使用场景

在隐式反馈驱动的强化学习对齐领域，IFLLM数据集为利用多模态行为信号优化大语言模型提供了开创性范例。该数据集涵盖59名参与者的1,336轮多轮对话，同步采集了网页摄像头录制的眼动轨迹与鼠标移动路径，为从用户无意识行为中提取偏好信号奠定了数据基础。研究者可借助该数据集训练奖励模型，将经典的文本偏好判断准确率从约55%提升至64%，显著超越仅依赖文本或显式反馈的基线方法。这一场景尤其适用于探索人类行为与语言模型价值对齐之间的微妙关联，成为研究人机交互中隐性反馈机制的核心资源。

解决学术问题

IFLLM数据集精准回应了语言模型对齐研究中一个长期存在的困境：显式反馈（如人工评分）成本高昂且易受主观偏差影响，而纯文本方法难以捕捉用户真实的细微偏好。该数据集通过引入眼动与鼠标轨迹作为隐式反馈信号，构建起行为特征与偏好判断之间的映射桥梁，有效缓解了反馈信号的稀疏性与噪声问题。在学术层面，它首次系统验证了多模态行为数据在奖励建模中的有效性，并揭示了视觉注意时长、阅读回视模式、鼠标-凝视相关性等特征对偏好预测的增益作用，为发展更自然、更高效的对齐方法开辟了新路径。

实际应用

在实际部署中，IFLLM数据集的启发意义超越了实验室环境。其核心范式——利用用户与模型交互时自然产生的眼动与鼠标行为作为持续学习信号——为商业级对话系统的在线优化提供了低成本、低侵入性的解决方案。例如，搜索推荐引擎可依据用户的阅读停留模式隐式推断查询满意度，智能客服系统能通过鼠标悬停轨迹识别模棱两可的回答并触发自动修正。此外，该方向还降低了大型语言模型在隐私敏感场景下收集人工偏好的门槛，因为行为信号可在用户无需额外操作的情况下被匿名化采集与利用。

数据集最近研究

最新研究方向

在大语言模型对齐研究中，隐式人类反馈正成为一个前沿方向。IFLLM数据集独辟蹊径，通过采集用户在对话时的眼动轨迹与鼠标移动数据，捕捉那些连用户自身都未察觉的偏好信号。这项工作揭示了非言语行为在揭示真实偏好方面蕴含的丰富信息，将奖励模型的成对准确率从55%显著提升至64%。该方向与当前AI伦理领域对隐性偏见与真实意图捕捉的热点事件紧密相连，其意义在于为LLM对齐提供了一种超越显式反馈的新范式，有望构建更自然、更少认知偏差的人机交互评价体系，为下一代可信任AI的偏好学习开辟了全新路径。