NYTK/HuRC

HuRC（匈牙利阅读理解与常识推理语料库）是匈牙利语言理解评估基准工具包HuLU的一部分。该数据集包含80,614个实例，每个实例由导语、段落和带有掩码实体的填空式查询组成。任务是从查询中选择被掩码的命名实体。数据来源于匈牙利在线新闻网站Népszabadság Online，并通过自动收集和人工验证的方式构建。数据集的语言为匈牙利语，且为单语数据集。数据集分为训练集、验证集和测试集，分别占80%、10%和10%。数据集的创建过程包括使用NER模型识别专有名词，并通过人工验证确保数据质量。数据集发布在cc-by-4.0许可证下。

HuRC (Hungarian Reading Comprehension and Commonsense Reasoning Corpus) is part of the Hungarian Language Understanding Evaluation benchmark toolkit HuLU. This dataset contains 80,614 instances, each consisting of a lead-in, a passage, and a fill-in-the-blank query with a masked named entity. The task is to select the masked named entity from the query. The data is sourced from the Hungarian online news website Népszabadság Online, and was constructed through automatic collection and manual verification. The dataset is in Hungarian and is a monolingual corpus. The dataset is split into training, validation, and test sets, accounting for 80%, 10%, and 10% respectively. The dataset creation process includes using NER models to identify named entities, and manual verification to ensure data quality. The dataset is released under the CC BY 4.0 license.

原始信息汇总

数据集概述

数据集名称

• 名称: HuRC
• 全称: Hungarian Corpus for Reading Comprehension with Commonsense Reasoning

数据集基本信息

• 语言: 匈牙利语（hu-HU）
• 许可证: cc-by-4.0
• 多语言性: 单语种
• 数据集大小: 未知
• 数据来源: 扩展自其他数据集
• 任务类型: 问答（包括提取式问答和摘要式问答）

数据集结构

• 数据实例: 每个实例包含id、lead、passage、query和MASK字段。
• 数据字段:
  • id: 实例的唯一标识
  • lead: 文章的简短摘要
  • passage: 文章的主体，包含3-6个段落
  • query: 文章的最后一段，包含一个被[MASK]标记的命名实体
  • MASK: 被遮蔽的命名实体
• 数据分割: 分为训练集、验证集和测试集，比例分别为80%、10%、10%。

数据集创建

• 数据收集: 数据自动收集自Népszabadság在线新闻。
• 数据注释: 注释由众包完成，语言部分由发现和专家生成。
• 数据验证: 每100个单位由一名注释者检查和验证。

附加信息

• 许可证信息: 数据集根据cc-by-4.0许可证发布。
• 引用信息: 使用此资源或其任何部分文档时，请参考Ligeti-Nagy等人的论文。

以上信息概述了HuRC数据集的基本情况，包括其语言、许可证、数据结构、创建过程以及如何引用该数据集。