NomaDamas/Ko-StrategyQA

Ko-StrategyQA数据集是StrategyQA的韩语版本，所有问题和段落都使用DeepL进行了翻译。StrategyQA是一个用于开放域问答任务的多跳问题数据集，要求模型从多个段落中获取多个事实来回答问题。该数据集可以用于测试模型在多跳问题上的性能，所有问题都是是非题，可以通过准确率来评估模型性能。此外，数据集的评估方法包括Recall@10和准确率，文件结构包括训练集、开发集和测试集等。

原始信息汇总

数据集概述

名称： Ko-StrategyQA

描述： Ko-StrategyQA是StrategyQA的韩语版本，专注于开放域问答（ODQA）中的多跳问题。该数据集通过DeepL翻译了所有问题和段落。

特点：

• 多跳问题： 数据集包含需要从多个段落中提取多个事实来回答的问题。
• 答案类型： 所有问题的答案仅为“是”或“否”。
• 性能测量： 可以评估检索系统在多跳问题上的性能，以及大型语言模型（LLM）的准确性。
• 当前限制： 尚无法测量SARI，这是一种衡量问题分解的指标。

数据集文件

• ko-strategyqa_full.json：包含完整的问題、描述、分解、事实和证据。
• ko-strategyqa_train.json：训练集，非官方分割，可能与官方StrategyQA训练数据集有所不同。
• ko-strategyqa_dev.json：开发集，非官方分割，可能与官方StrategyQA开发数据集有所不同。
• ko-strategyqa_test.json：官方StrategyQA测试问题的韩语版本，用于官方排行榜。
• ko-strategyqa_paragraphs.csv：所有段落（上下文）。
• ko-strategyqa_paragraphs.parquet：所有段落（上下文）的Parquet文件格式。

评估

评估指标： 支持准确性（Accuracy）和Recall@10。

评估代码位置： 此仓库。

许可

许可证： Apache 2.0

搜集汇总

背景与挑战

背景概述

Ko-StrategyQA是StrategyQA数据集的韩语版本，包含多跳开放领域问答任务的问题和段落。数据集支持评估检索系统和语言模型在多跳问题上的性能，所有问题均为是非题，可通过准确率和Recall@10等指标进行评估。