hpprc/jsick

JSICK是一个日语和英语的自然语言推理（NLI）和语义文本相似性（STS）数据集，通过手动翻译英语数据集SICK（Marelli et al., 2014）创建。该数据集旨在支持多语言组合推理的研究，特别是日语和英语之间的语义相似性和推理能力。数据集包含两个部分：基础数据集和JSICK-stress测试集。基础数据集包含4500个训练样本和4927个测试样本，每个样本包含日语和英语的句子对、推理标签和相似性评分。JSICK-stress测试集则通过变换句子对的句法结构来测试模型是否能够捕捉日语的词序和格助词，包含900个测试样本。数据集的注释通过众包平台Lancers进行，由六名母语为日语的注释者完成，注释结果通过多数投票确定。

原始信息汇总

数据集概述

数据集名称

• JSICK：日本語構成的推論・類似度データセット

数据集总结

• JSICK：通过手动将英文数据集SICK (Marelli et al., 2014)翻译成日文，创建的日文NLI和STS数据集。
• JSICK-stress Test set：用于研究模型是否能捕捉日语中的词序和格助词的数据集，通过对JSICK中的句子对进行语法结构变换而提供。

语言

• 数据集包含日语和英语。

数据集结构

数据实例

• base：包含4500个训练实例和4927个测试实例。
• stress：包含900个测试实例。

数据字段

• base：包含id, premise, hypothesis, label, score等字段。
• stress：包含id, premise, hypothesis, label, score, sentence_A_Ja_origin等字段。

数据分割

• base：训练集4500条，测试集4927条。
• stress：测试集900条。

注释

• 使用众包平台"Lancers"重新注释了JSICK数据集的推断标签和相似度分数，由六名日语母语者进行注释。

许可证

• CC BY-SA 4.0

引用信息

bibtex @article{yanaka-mineshima-2022-compositional, title = "Compositional Evaluation on {J}apanese Textual Entailment and Similarity", author = "Yanaka, Hitomi and Mineshima, Koji", journal = "Transactions of the Association for Computational Linguistics", volume = "10", year = "2022", address = "Cambridge, MA", publisher = "MIT Press", url = "https://aclanthology.org/2022.tacl-1.73", doi = "10.1162/tacl_a_00518", pages = "1266--1284", }

@article{谷中 瞳2021, title={JSICK: 日本語構成的推論・類似度データセットの構築}, author={谷中 瞳 and 峯島 宏次}, journal={人工知能学会全国大会論文集}, volume={JSAI2021}, number={ }, pages={4J3GS6f02-4J3GS6f02}, year={2021}, doi={10.11517/pjsai.JSAI2021.0_4J3GS6f02} }

搜集汇总

数据集介绍

构建方式

JSICK数据集是基于英文SICK数据集通过人工翻译构建而成的日英双语NLI与STS资源。其构建过程严谨，首先由专家将SICK中的英文句子对精准译为日文，确保语义等价性与语言自然度。随后，研究团队借助众包平台Lancers，招募六位母语为日语的标注者，对蕴含标签与语义相似度分数进行重新标注。蕴含标签采用多数投票法确定金标，并逐一验证其语义有效性；相似度分数则取标注结果的平均值作为最终得分。标注过程耗时约每分钟一对，蕴含标签的Krippendorff's alpha系数达到0.65，展现了良好的一致性。

特点

该数据集的核心特色在于其双层结构：基础集（base）与压力测试集（stress）。基础集包含约9,427对日英对照的句子，涵盖蕴含标签与1-5分的相似度评分，为模型提供标准的NLI与STS训练与评估数据。压力测试集则别具匠心，通过对基础测试集中的日语句子进行三种句法变换——语序打乱、格助词互换与格助词删除——构建了900对样本，专门用于探测模型对日语语序和格助词的敏感度。这种设计使得JSICK不仅能评估模型的语义理解能力，更能深入剖析其句法组合推理的鲁棒性。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集。加载基础集时，直接调用ds.load_dataset('hpprc/jsick')即可获得包含训练集（4,500条）与测试集（4,927条）的DatasetDict对象，每条数据包含日英双语的premise、hypothesis、label、score等字段。若需使用压力测试集，需指定name参数为'stress'，即ds.load_dataset('hpprc/jsick', name='stress')，此时仅返回测试集（900条），包含原始句子、变换类型及格助词类型等字段。该数据集适用于句子相似度计算、自然语言推理以及日语组合性评估等任务，尤其适合研究模型在跨语言与句法变换场景下的泛化能力。

背景与挑战

背景概述

自然语言处理领域中，语义文本相似度与自然语言推理任务对模型的语言理解能力提出了严苛要求，尤其当涉及跨语言和构式化推理时，现有模型的表现仍显不足。为填补日语资源在这一方向的空白，东京大学与庆应义塾大学的研究人员谷中瞳与峯岛宏次于2021年共同创建了JSICK数据集。该数据集基于英文SICK语料库，通过人工翻译与专家标注构建而成，包含约9,400个日语句对，覆盖蕴含、矛盾与中立三类标签，并附有相似度评分。其核心研究问题在于评估模型对日语构式化知识的理解能力，特别是语序与格助词等句法特征如何影响语义推断。JSICK的发布为多语言语义推理研究提供了关键基准，推动了日语NLP模型在细粒度语义理解上的发展，并成为TACL等顶级期刊引用的重要资源。

当前挑战

JSICK数据集所面临的挑战首先体现在领域问题层面：日语作为主宾谓语言，其语序灵活性与格助词系统的复杂性使得模型难以准确捕捉构式化语义关系。例如，主语与宾语的语序变换（如ga-o与o-ga）可能导致蕴含标签逆转，而格助词的删除或替换（如ga与ni的互换）会彻底改变句子的真值条件。在构建过程中，挑战则集中于标注一致性与跨语言迁移：原始SICK的英文标签需通过六名母语者众包重新标注，但Krippendorff's alpha仅达0.65，表明标注者间存在显著分歧；同时，将英文构式直接译为日语时，需确保语义等价性不受语言结构差异影响，这要求翻译者兼具语言学知识，并对约900句的stress测试集进行三类句法变换，以系统性地评估模型脆弱性。

常用场景

经典使用场景

JSICK数据集通过将英文SICK数据集精心翻译为日语，构建了用于日语自然语言推理（NLI）与语义文本相似度（STS）评估的基准资源。其经典使用场景在于检验模型对日语文本中蕴含的构成性知识的理解能力，即模型能否准确判断句子对之间的蕴含、矛盾或中立关系，并量化其语义相似度。该数据集特别设计了基础（base）与压力测试（stress）两个子集，后者通过对句子进行语序打乱、格助词替换或删除等句法变换，系统性地评估模型对日语特有语法结构的敏感度，成为探究跨语言语义推理与句法鲁棒性的关键工具。

实际应用

在实际应用中，JSICK数据集可服务于日语智能问答系统、机器翻译质量评估、以及对话系统的语义一致性检测等场景。例如，在客服自动应答中，模型需判断用户问题与标准答案间的逻辑关系；在机器翻译中，可用于衡量译文与原文的语义相似度。此外，其压力测试集特别适用于评估和优化日语语音助手、文本纠错工具对日语语序和格助词错误的鲁棒性，从而提升真实场景下语言理解系统的可靠性与适应性。

衍生相关工作

JSICK数据集衍生了一系列相关研究工作，主要集中在构成性推理与日语语义分析领域。例如，研究者基于该数据集开发了针对日语NLI的专门模型，并对比了不同预训练语言模型（如BERT、RoBERTa）在基础集与压力测试集上的表现，揭示了模型在格助词缺失或语序变化时性能显著下降的现象。此外，该数据集还被用于推动多语言推理的对比研究，通过与英文SICK、中文SNLI等资源联合分析，探索跨语言的构成性知识迁移机制，为构建更鲁棒的跨语言语义理解体系提供了重要参考。