OASST-ETC

OASST-ETC数据集是由Telefónica Scientific Research和Universitat Politècnica de Catalunya共同创建的，该数据集通过追踪24名参与者在评估大型语言模型生成的响应时的阅读模式，捕捉到了他们的眼动数据。这个独特的语料库支持探索眼动数据如何增强对齐训练，并揭示不同响应中的不同模式。数据集包含了原始数据、过滤后的注视序列和计算的阅读度量标准，以及实验期间收集的皮肤电活动数据。The OASST-ETC Dataset was co-created by Telefónica Scientific Research and Universitat Politècnica de Catalunya. This dataset captures eye-tracking data from 24 participants by tracking their reading patterns during the evaluation of responses generated by large language models. This unique corpus supports exploring how eye-tracking data can enhance alignment training and uncovers distinct patterns across diverse responses. The dataset includes raw data, filtered fixation sequences, computed reading metrics, as well as skin conductance activity data collected during the experiment.

搜集汇总

数据集介绍

构建方式

OASST-ETC数据集的构建基于24名参与者在阅读和评估由大型语言模型（LLM）生成的响应时的眼动追踪数据。实验使用了OASST1数据集中的提示和响应对，参与者通过眼动追踪设备记录其阅读行为。数据采集过程中，参与者需对每对响应进行偏好评估，同时记录其眼动轨迹。数据集包括原始眼动数据、过滤后的注视序列以及计算得出的阅读指标，确保了数据的全面性和可重复性。

特点

OASST-ETC数据集的特点在于其结合了人类阅读行为与LLM生成响应的评估。通过眼动追踪技术，数据集捕捉了参与者在阅读偏好响应与非偏好响应时的不同阅读模式。这些模式包括注视时间、注视次数等指标，揭示了人类在评估LLM输出时的认知过程。此外，数据集还提供了合成眼动数据的对比分析，进一步增强了其在LLM对齐研究中的应用价值。

使用方法

OASST-ETC数据集可用于研究人类在评估LLM生成响应时的认知行为，特别是在对齐任务中的应用。研究人员可以通过分析眼动数据，探索人类偏好与模型生成响应之间的关系。此外，数据集还可用于训练和验证生成模型，特别是那些旨在模拟人类阅读行为的模型。通过结合眼动数据，研究人员可以改进奖励模型的设计，从而提升LLM与人类价值观的对齐效果。

背景与挑战

背景概述

OASST-ETC数据集是由Telefónica Scientific Research和Universitat Politècnica de Catalunya的研究团队于2025年提出的，旨在通过眼动追踪技术研究人类在阅读大型语言模型（LLMs）生成文本时的认知过程。该数据集基于OASST1对话数据集，记录了24名参与者在阅读和评估LLM生成回复时的眼动数据。通过分析这些数据，研究人员揭示了人类在偏好与非偏好回复之间的阅读模式差异，并探讨了这些模式与基于Transformer的模型注意力机制之间的相关性。OASST-ETC的发布为研究LLM与人类认知对齐提供了独特的资源，并为将眼动数据引入对齐方法开辟了新的研究方向。

当前挑战

OASST-ETC数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，尽管LLMs在自然语言处理领域取得了显著进展，但其与人类偏好和价值观的对齐仍是一个开放性问题。现有的对齐方法主要依赖于显式反馈，而OASST-ETC通过眼动数据提供了实时认知处理的洞察，这为解决LLM对齐问题提供了新的视角。然而，如何有效利用这些隐式反馈数据来改进对齐模型仍是一个挑战。其次，在数据构建过程中，眼动数据的采集需要高精度设备，且涉及隐私问题，这增加了数据获取的难度。此外，生成合成眼动数据的模型在任务特定性上表现不足，导致其预测的阅读模式与真实数据存在差异，这进一步凸显了构建任务特定眼动数据集的重要性。

常用场景

经典使用场景

OASST-ETC数据集主要用于研究人类在阅读大语言模型（LLM）生成文本时的眼动模式，特别是通过眼动追踪技术捕捉参与者在评估LLM生成响应时的阅读行为。该数据集的核心应用场景是分析人类在阅读偏好响应与非偏好响应时的眼动差异，从而揭示人类认知处理与LLM生成文本之间的关联。通过对比真实眼动数据与合成眼动数据，研究者可以进一步探讨如何利用眼动信号优化LLM的对齐训练。

衍生相关工作

OASST-ETC数据集的发布推动了多项相关研究，特别是在眼动数据与LLM对齐领域的探索。基于该数据集，研究者开发了多种生成模型，用于预测眼动模式并优化LLM的生成文本。此外，该数据集还启发了对Transformer模型注意力机制与人类阅读行为之间关系的深入研究，推动了认知计算语言学的发展。相关经典工作包括基于眼动数据的奖励模型优化、多任务学习框架的设计以及眼动数据在情感分析和代码理解中的应用。

数据集最近研究

最新研究方向

近年来，OASST-ETC数据集在自然语言处理领域的研究中引起了广泛关注，尤其是在大语言模型（LLMs）与人类偏好对齐的背景下。该数据集通过眼动追踪技术捕捉了24名参与者在阅读和评估LLM生成响应时的阅读模式，揭示了人类在阅读偏好响应与非偏好响应时的显著差异。研究表明，眼动数据能够提供实时认知处理的洞察，为LLM的对齐方法提供了新的研究方向。特别是，OASST-ETC数据集的分析表明，人类阅读模式与基于Transformer的模型生成的注意力模式之间存在较强的相关性，尤其是在偏好响应中。这一发现为将眼动数据整合到LLM对齐方法中提供了有力支持，并推动了基于认知信号的任务特定数据集的发展。此外，该数据集还为生成合成眼动数据的研究提供了基准，进一步推动了NLP任务中眼动数据的应用。

相关研究论文

• OASST-ETC Dataset: Alignment Signals from Eye-tracking Analysis of LLM Responses

  Telefónica Scientific Research, Universitat Politècnica de Catalunya · 2025年