ES-KT-24

ES-KT-24是由Enuma, Inc.和韩国大学联合创建的多模态知识追踪基准数据集，旨在为智能教育系统提供丰富的游戏化学习环境数据。该数据集包含教育游戏视频、合成问题文本和详细的游戏日志，涵盖数学、英语、印尼语和马来语等多个学科。数据集通过大型语言模型生成合成文本，包含28个知识概念和182个问题，涉及15,032名用户和7,782,928次互动。数据集的创建过程包括游戏录制、文本生成和数据预处理，旨在通过多模态数据分析学生学习模式，推动知识追踪和学习分析领域的研究。

ES-KT-24 is a multimodal knowledge tracing benchmark dataset jointly developed by Enuma, Inc. and Korea University, designed to provide rich gamified learning environment data for intelligent education systems. This dataset comprises educational game videos, synthesized question texts and detailed game logs, covering multiple disciplines including mathematics, English, Indonesian and Malay. The synthesized texts, generated via large language models, contain 28 knowledge concepts and 182 questions, involving 15,032 users and 7,782,928 interaction records. The dataset's creation workflow includes game recording, text generation and data preprocessing, aiming to analyze students' learning patterns through multimodal data and advance research in the fields of knowledge tracing and learning analytics.

搜集汇总

数据集介绍

构建方式

ES-KT-24数据集的构建过程融合了多模态信息，包括教育游戏视频、合成生成的文本问题以及详细的游戏日志。首先，通过手动游戏录制获取教育游戏视频，并使用OpenAI的GPT-4o和Whisper模型将视频内容转换为文本。随后，这些文本被用于生成与游戏相关的合成问题。同时，学生的游戏日志经过预处理和探索性数据分析（EDA），转化为适用于知识追踪任务的序列数据。最终，这些文本和序列数据被整合成一个配对数据集。

特点

ES-KT-24数据集的显著特点在于其多模态性和教育游戏背景。该数据集不仅涵盖了数学、英语等传统学科，还扩展至印尼语和马来语，增强了研究的多样性。此外，数据集中的合成文本问题和游戏日志提供了丰富的交互信息，有助于深入分析学生的学习模式。通过整合游戏视频和详细日志，ES-KT-24为多模态知识追踪模型和学习分析提供了独特的研究平台。

使用方法

ES-KT-24数据集可用于多种教育研究场景，包括知识追踪模型的开发与评估、多模态学习分析以及游戏难度分类等。研究人员可以通过分析游戏视频和日志数据，探索学生在游戏中的学习行为和表现。此外，该数据集还可用于开发基于语言模型的知识追踪方法，通过处理合成文本问题，提升模型对学生知识状态的预测能力。ES-KT-24的多模态特性为教育研究提供了丰富的数据资源，有助于推动智能教育系统的发展。

背景与挑战

背景概述

ES-KT-24数据集由Enuma, Inc.和韩国大学联合开发，旨在为智能辅导系统提供一个新颖的多模态知识追踪基准数据集。该数据集创建于2024年，主要研究人员包括Dohee Kim、Unggi Lee等，其核心研究问题是如何在教育游戏环境中有效追踪学生的知识状态。ES-KT-24通过整合教育游戏视频、合成生成的问答题文本和详细的游戏日志，解决了现有数据集在游戏化和多模态元素方面的不足。该数据集涵盖数学、英语、印尼语和马来语等多个学科，强调了多样性和非英语内容，对推动多模态知识追踪模型和学习分析研究具有重要影响。

当前挑战

ES-KT-24数据集面临的挑战主要包括：1) 解决领域问题的挑战，即如何在教育游戏环境中准确追踪和预测学生的知识状态；2) 构建过程中遇到的挑战，如数据的多模态整合、合成文本生成的准确性以及游戏日志的复杂性。此外，数据集在处理学生交互时，仅依赖游戏时长作为正确性判断的唯一指标，可能过于简化学生交互的复杂性。未来研究需进一步优化分类标准，并考虑引入更多真实学生游戏视频，以提高数据集的生态有效性。

常用场景

经典使用场景

ES-KT-24数据集在智能辅导系统中扮演着重要角色，特别是在教育游戏背景下。通过整合教育游戏视频、合成问题文本和详细的游戏日志，该数据集为知识追踪（KT）研究提供了丰富的多模态数据。研究者可以利用这些数据来训练和评估KT模型，从而更准确地预测学生在未见项目上的表现，并深入理解学习模式。

解决学术问题

ES-KT-24数据集解决了现有KT数据集在游戏化和多模态方面的不足。传统KT数据集主要依赖于数值序列，而ES-KT-24通过引入游戏视频和合成文本，填补了这一空白。这不仅推动了多模态KT模型的研究，还为学习分析提供了新的视角，有助于揭示学生在游戏化学习环境中的复杂交互和学习过程。

衍生相关工作

ES-KT-24数据集的发布激发了大量相关研究，特别是在多模态知识追踪和学习分析领域。例如，研究者们基于该数据集开发了多种语言模型增强的KT方法（LKT），显著提升了模型性能。此外，该数据集还促进了游戏难度分类、特征影响分析和生成游戏设计等方向的研究，推动了教育技术领域的创新和发展。