NYTK/HuCoPA

HuCoPA数据集是匈牙利语的可信替代选择语料库，也是匈牙利语言理解评估基准工具包（HuLU）的一部分。该数据集是通过翻译和重新注释原始的英文CoPA语料库（Roemmele et al., 2011）创建的。数据集支持的任务包括常识推理和问答。数据集结构包括数据实例、数据字段和数据分割。数据实例包括id、前提、问题、两个替代项和标签。数据集分为训练、验证和测试三个部分。数据集的创建过程包括初始数据收集和注释过程。数据集发布在BSD 2-Clause License下。

The HuCoPA dataset is a Hungarian-language credible alternative-choice corpus, and it constitutes a component of the Hungarian Language Understanding Evaluation Benchmark Kit (HuLU). This dataset was developed by translating and re-annotating the original English CoPA corpus (Roemmele et al., 2011). Supported tasks include commonsense reasoning and question answering. The dataset structure encompasses data instances, data fields, and data splits. Each data instance contains an ID, premise, question, two alternative choices, and a label. The dataset is divided into three splits: training, validation, and test sets. The dataset creation workflow includes initial data collection and annotation procedures. The dataset is released under the BSD 2-Clause License.

原始信息汇总

数据集概述

数据集名称

• 名称: HuCoPA
• 别名: Hungarian Choice of Plausible Alternatives Corpus

数据集属性

• 语言: 匈牙利语（hu-HU）
• 许可证: BSD 2-Clause License
• 多语言性: 单语种
• 任务类别: 常识推理、问答
• 数据集大小: 未知
• 数据源: 扩展自其他数据集

数据集结构

• 数据实例: 每个实例包含id、前提、问题（cause或effect）、两个选项和标签（1或2）。
• 数据字段:
  • id: 唯一标识，整数，范围1至1000。
  • question: 问题类型，"cause"或"effect"。
  • premise: 前提，一个句子。
  • choice1: 第一个选项，一个句子。
  • choice2: 第二个选项，一个句子。
  • label: 更合理的选项编号（1或2）。
• 数据分割: 训练集（400个实例）、验证集（100个实例）、测试集（500个实例）。

数据集创建

• 源数据: 翻译自CoPA数据集，每个句子由人工翻译并由另一标注者检查和细化。
• 标注过程: 初始标签继承自CoPA数据集，每个实例由人工标注者标注，不匹配时手动校正并分配最终标签。
• 标注者: 翻译者为匈牙利语母语者且具有英语能力，标注者为具有语言学背景的大学生。

其他信息

• 人类性能: 测试集上的准确率为96%。
• 版权信息: 数据集遵循BSD 2-Clause License。
• 引用信息: 使用数据集时需引用Ligeti-Nagy等人（2022）和Roemmele等人（2011）的论文。

数据集使用注意事项

• 评估模型: 测试集标签未公开，需联系数据集负责人或访问HuLU网站进行自动评估。