EMTeC

EMTeC数据集由苏黎世大学计算语言学系和波茨坦大学计算机科学系创建，包含107名母语为英语的参与者在阅读机器生成文本时的眼动数据。这些文本由三个大型语言模型使用五种不同的解码策略生成，涵盖六种文本类型。数据集不仅包括原始坐标数据、注视序列和阅读测量，还提供了语言模型的内部数据，如转换分数、注意力分数和隐藏状态。数据集的创建旨在研究机器生成文本上的阅读行为、不同解码策略的影响以及语言模型的认知可解释性等领域。

搜集汇总

数据集介绍

构建方式

EMTeC数据集的构建采用了自然阅读场景，由107名母语为英语的参与者阅读由三个大型语言模型生成的文本。这些文本通过五种不同的解码策略生成，并分为六种不同的文本类型。数据集包含了从预处理的所有阶段的眼动数据，包括以2000 Hz采样的原始坐标数据、注视序列和阅读指标。此外，数据集还提供了注视序列的原始和校正版本，以考虑垂直校准漂移。同时，数据集还包含了语言模型内部信息，包括生成文本的转换分数、注意力分数和隐藏状态。文本在文本和单词级别都进行了语言特征注释。

使用方法

EMTeC数据集可用于多种用途，例如：开发预处理和注视事件检测方法，如眨眼检测算法；开发新的注视事件检测算法，如扫视和注视检测算法；训练和评估生成人类注视模型；研究视觉和眼球运动控制；进行心理语言分析，以深入了解阅读过程中的认知过程；提升语言模型，提高其在各种下游任务上的性能；研究语言模型的认知解释性和合理性；评估语言模型的预测能力；研究不同文本类型对阅读行为的影响；研究机器生成文本的阅读行为，进一步推动机器生成文本的自动检测；利用眼动来训练强化学习的人机反馈奖励模型；研究直接针对机器生成文本的惊讶度预测能力；研究从转换分数直接计算出的惊讶度的预测能力。

背景与挑战

背景概述

EMTeC数据集是由苏黎世大学计算语言学系的研究团队创建的，旨在研究人类阅读机器生成文本时的眼动行为。该数据集收集了107名母语为英语的参与者阅读由三种不同的大型语言模型生成的文本时的眼动数据。这些文本涵盖了六种不同的文本类型，包括非小说（论点和描述）、小说（故事和对话）、诗歌、摘要、新闻文章和关键词文本。EMTeC不仅提供了眼动数据，还提供了语言模型在生成刺激文本时的内部信息，如转换分数、注意力分数和隐藏状态。此外，该数据集还包括文本和单词级别的语言特征注释。EMTeC数据集的创建对于理解阅读行为、语言模型的认知可解释性和语言模型的评估等方面具有重要意义。

当前挑战

EMTeC数据集面临的主要挑战包括：1) 阅读行为在机器生成文本上的研究，需要进一步探索不同解码策略对输出文本和阅读行为的影响；2) 阅读行为在不同文本类型上的研究，需要分析不同文本结构和布局对阅读行为的影响；3) 语言模型与人类认知对齐的研究，需要通过转换分数和注意力分数来探究特定语言模型和特定解码策略的输出与人类认知的匹配程度；4) 机器生成文本质量的评估，需要利用眼动数据来评估机器生成文本的质量；5) 人类阅读时间预测的评估，需要研究不同语言模型对人类阅读时间预测的准确性。

常用场景

经典使用场景

EMTeC 数据集最经典的使用场景是对机器生成文本的阅读行为进行研究。它包含了由三种不同规模和模型家族的大型语言模型生成的文本，这些文本通过五种不同的解码策略生成，并分为六种不同的文本类型。通过分析参与者在阅读这些文本时的眼动数据，研究人员可以深入理解阅读过程中的认知机制，以及不同解码策略对阅读行为的影响。

解决学术问题

EMTeC 数据集解决了多个学术研究问题。首先，它为研究机器生成文本的阅读行为提供了自然istic的数据集，这对于理解人类如何与机器生成的文本交互至关重要。其次，它提供了不同解码策略对阅读行为影响的实证数据，这对于优化语言模型和解码策略具有重要意义。此外，EMTeC 数据集还提供了语言模型的内部信息，这有助于研究语言模型的可解释性和认知合理性。

实际应用

EMTeC 数据集在实际应用中具有广泛的应用场景。它可以用于开发新的预处理、数据过滤和漂移校正算法，从而提高眼动数据的质量和可靠性。此外，它还可以用于评估语言模型预测人类阅读行为的能力，以及探究语言模型与人类认知的一致性。EMTeC 数据集还可以用于研究阅读行为与文本类型之间的关系，以及文本难度对阅读行为的影响。

数据集最近研究

最新研究方向

EMTeC数据集的创建为研究机器生成文本的阅读行为提供了宝贵资源。该数据集的最新研究方向主要集中在探究不同语言模型生成文本的阅读行为差异、不同解码策略对阅读行为的影响、以及阅读行为与文本类型之间的关系。此外，研究还关注如何利用眼动数据来训练和评估语言模型的认知解释性和可读性。此外，研究还探讨了如何利用眼动数据来评估和预测文本难度，以及如何利用眼动数据来训练强化学习模型。

相关研究论文

• EMTeC: A Corpus of Eye Movements on Machine-Generated Texts

  苏黎世大学计算语言学系，波茨坦大学计算机科学系 · 2024年