eLOK Dataset

eLOK数据集是从Gadjah Mada大学使用的学习管理系统eLOK中收集的，用于课程管理和在线学习活动。该数据集特别包含了学生对数字转型课程的中期和期末考试的回答。数据集提供了评估过程的见解，其中五个评分者评估了学生的答案，评分者之间的一致性通过二次加权Kappa（QWK）分数来衡量。

The eLOK Dataset was collected from the eLOK learning management system (LMS) used by Gadjah Mada University for course management and online learning activities. This dataset specifically contains students' responses to the midterm and final examinations of the Digital Transformation course. It offers insights into the assessment process, where five raters evaluated students' answers, and inter-rater agreement is measured using the Quadratic Weighted Kappa (QWK) score.

原始信息汇总

eLOK Dataset

概述

eLOK Dataset 是从一个名为 eLOK 的学习管理系统（LMS）中收集的，该系统由 Gadjah Mada University 用于课程管理和在线学习活动。该数据集特别包含了学生对 数字转型课程 的中期和期末考试的回答。

数据集提供了评估过程的见解，其中 五名评分者 对学生的回答进行了评估。评分者之间的一致性通过 Quadratic Weighted Kappa (QWK) 分数来衡量，该分数评估评分者之间的协议。

数据集摘要

• 总问题数: 15
• 总学生回答数: 2763
• 评分者数量: 5
• 课程: 数字转型课程
• 机构: Gadjah Mada University

Quadratic Weighted Kappa (QWK) 分数

QWK 分数反映了每对评分者之间的协议。QWK 分数越高，协议水平越高。

• 评分者1和评分者2之间的QWK: 0.8183

• 评分者1和评分者3之间的QWK: 0.8629

• 评分者1和评分者4之间的QWK: 0.9180

• 评分者1和评分者5之间的QWK: 0.8829

• 评分者2和评分者3之间的QWK: 0.7987

• 评分者2和评分者4之间的QWK: 0.8172

• 评分者2和评分者5之间的QWK: 0.8355

• 评分者3和评分者4之间的QWK: 0.8436

• 评分者3和评分者5之间的QWK: 0.8904

• 评分者4和评分者5之间的QWK: 0.8627

• 所有评分者之间的平均QWK: 0.8530

可视化

1. 评分者之间的相关矩阵

相关矩阵显示了评分者之间的相关分数。相关性越高，评分者之间的评分模式越相似。

2. 评分者分数中的异常值

此箱线图显示了每个评分者给出的分数分布，有助于识别异常值。箱线图形状的一致性表明评分者具有相似的评分模式。

3. 每个评分者的分数分布

带有 KDE（核密度估计）叠加的直方图显示了每个评分者给出的分数分布。它揭示了大多数分数集中在2、3和5附近。

4. 每个问题的方差

此条形图可视化了每个问题在所有评分者之间的分数方差。方差越高，评分者对该特定问题的协议越少。

数据集属性

数据集包含以下属性：

1. no: 问题编号或标识符。
2. key: 学生回答的唯一标识符。
3. question_key: 特定问题的标识符。
4. subject: 评估的主题或类型（例如，中期或期末）。
5. answer: 学生对问题的回答。
6. rater_1: 第一位评分者给出的分数。
7. rater_2: 第二位评分者给出的分数。
8. rater_3: 第三位评分者给出的分数。
9. rater_4: 第四位评分者给出的分数。
10. rater_5: 第五位评分者给出的分数。

文件

数据集包含以下文件：

1. answers.csv: 包含学生回答和五位评分者给出的分数。
2. questions.csv: 包含中期和期末考试中使用的问题的详细信息。

搜集汇总

数据集介绍

构建方式

在构建eLOK数据集时，研究者从加贾马达大学的eLOK学习管理系统中收集了数字转型课程的中期和期末考试学生回答数据。该数据集包含了2763份学生回答，由五名评分者进行评估。为了确保评分的一致性，采用了二次加权Kappa（QWK）分数来衡量评分者之间的协议，平均QWK分数为0.8530，显示出较高的评分一致性。

特点

eLOK数据集的显著特点在于其多评分者评估机制和高质量的评分一致性。通过QWK分数的计算，数据集展示了评分者之间的高度一致性，平均QWK分数达到0.8530。此外，数据集还提供了丰富的可视化工具，如评分者之间的相关矩阵、评分分布直方图以及每个问题的评分方差图，这些工具帮助用户深入理解评分过程的细节和一致性。

使用方法

使用eLOK数据集时，研究者可以首先加载'answers.csv'和'questions.csv'文件，分别获取学生回答和问题详情。通过分析评分者之间的QWK分数和可视化工具，研究者可以评估评分的一致性和识别可能的评分偏差。此外，数据集的结构化属性如问题编号、学生回答和各评分者的分数，为教育评估和机器学习模型的训练提供了丰富的数据基础。

背景与挑战

背景概述

eLOK数据集源自加贾马达大学（Gadjah Mada University）使用的学习管理系统eLOK，该系统主要用于课程管理和在线学习活动。该数据集聚焦于数字转型课程的期中和期末考试学生答题情况，由五名评分者对学生答案进行评估。通过Quadratic Weighted Kappa（QWK）评分，数据集展示了评分者之间的一致性，为教育评估领域提供了宝贵的实证数据。该数据集的创建不仅反映了现代教育技术在评估过程中的应用，还为研究评分一致性和学生表现提供了丰富的资源。

当前挑战

eLOK数据集在构建过程中面临多项挑战。首先，确保五名评分者之间的一致性是一个关键问题，通过QWK评分虽然提供了量化的一致性指标，但如何进一步提高评分者间的共识仍需深入研究。其次，数据集中包含的2763份学生答卷，如何在庞大的数据量中识别和处理异常值，确保分析结果的准确性和可靠性，是另一大挑战。此外，数据集的多样性和复杂性要求研究者在分析时采用多维度的方法，以全面理解学生表现和评分者行为。

常用场景

经典使用场景

在教育评估领域，eLOK数据集的经典使用场景主要集中在评估评分的一致性和可靠性分析。通过分析五位评分者对学生答案的评分，研究者可以深入探讨评分者间的一致性，从而提高评估的信度和效度。具体而言，该数据集可用于计算和分析Quadratic Weighted Kappa (QWK)分数，以量化评分者之间的评分一致性。此外，通过可视化工具如相关矩阵和方差图，研究者能够识别评分中的异常值和评分者间的差异，从而为教育评估提供更为精确的参考。

实际应用

在实际应用中，eLOK数据集为教育评估和在线学习管理系统的优化提供了宝贵的数据支持。通过分析评分者间的一致性，教育机构可以改进评分标准和流程，提高评估的公正性和准确性。此外，数据集中的学生答案和评分数据可用于开发和验证自动评分系统，从而减轻教师的工作负担并提高评分效率。同时，该数据集还可用于培训和评估评分者，确保评分者具备一致和准确的评分能力，进一步提升教育评估的质量。

衍生相关工作

eLOK数据集的发布催生了多项相关研究和工作，特别是在教育评估和机器学习领域。研究者利用该数据集开发了多种评分一致性分析工具和自动评分模型，这些工具和模型在教育评估中得到了广泛应用。此外，数据集中的评分数据和学生答案为研究评分者行为和评分模式提供了丰富的素材，推动了评分心理学和教育测量学的发展。同时，该数据集还激发了关于在线学习管理系统中评估机制优化的研究，为提升在线教育的质量和效率提供了新的思路和方法。