KimuGenie/KLUE_mrc_negative_train

KLUE mrc训练数据集，使用BM25算法为每个问题添加了20个hard negative文本，并通过预处理尽可能删除了重复数据。数据集包含标题、上下文、问题、ID、答案等特征，适用于韩语的问答任务。

原始信息汇总

数据集概述

数据集信息

特征

• title: 字符串类型
• context: 字符串类型
• question: 字符串类型
• id: 字符串类型
• answers: 结构体类型，包含以下字段：
  • answer_start: 整数序列
  • text: 字符串序列
• document_id: 整数类型
• hard_negative_text: 字符串序列
• hard_negative_document_id: 整数序列
• hard_negative_title: 字符串类型

数据分割

• train:
  • 字节数: 205021808
  • 样本数: 3952
• validation:
  • 字节数: 12329366
  • 样本数: 240

数据集大小

• 下载大小: 124133126
• 数据集大小: 217351174

许可

• cc-by-4.0

任务类别

• 问答

语言

• 韩语

数据集描述

KLUE mrc train 数据集通过使用 BM25 算法为每个问题添加了 20 个硬负样本文本。通过预处理删除了尽可能多的重复数据。

BM25 准确率

top-k	top-10	top-20	top-50	top-100
准确率(%)	92.1	95.0	97.1	98.8