mbzuai-ugrip-statement-tuning/xstorycloze

--- dataset_info: - config_name: ar features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 1172623 num_examples: 1511 download_size: 581963 dataset_size: 1172623 - config_name: en features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 822860 num_examples: 1511 download_size: 459654 dataset_size: 822860 - config_name: es features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 894779 num_examples: 1511 download_size: 507534 dataset_size: 894779 - config_name: eu features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 896518 num_examples: 1511 download_size: 485370 dataset_size: 896518 - config_name: hi features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 1958974 num_examples: 1511 download_size: 739647 dataset_size: 1958974 - config_name: id features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 913463 num_examples: 1511 download_size: 476175 dataset_size: 913463 - config_name: my features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 2735802 num_examples: 1511 download_size: 849229 dataset_size: 2735802 - config_name: ru features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 1415824 num_examples: 1511 download_size: 688117 dataset_size: 1415824 - config_name: sw features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 879761 num_examples: 1511 download_size: 468032 dataset_size: 879761 - config_name: te features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 2037222 num_examples: 1511 download_size: 745049 dataset_size: 2037222 - config_name: zh features: - name: answer_right_ending dtype: int32 - name: statement1 dtype: string - name: statement2 dtype: string splits: - name: test num_bytes: 806541 num_examples: 1511 download_size: 485889 dataset_size: 806541 configs: - config_name: ar data_files: - split: test path: ar/test-* - config_name: en data_files: - split: test path: en/test-* - config_name: es data_files: - split: test path: es/test-* - config_name: eu data_files: - split: test path: eu/test-* - config_name: hi data_files: - split: test path: hi/test-* - config_name: id data_files: - split: test path: id/test-* - config_name: my data_files: - split: test path: my/test-* - config_name: ru data_files: - split: test path: ru/test-* - config_name: sw data_files: - split: test path: sw/test-* - config_name: te data_files: - split: test path: te/test-* - config_name: zh data_files: - split: test path: zh/test-* ---数据集信息（dataset_info）： - 配置名称：ar（阿拉伯语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：1172623 样本数量：1511 下载大小（download_size）：581963 数据集存储大小（dataset_size）：1172623 - 配置名称：en（英语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：822860 样本数量：1511 下载大小（download_size）：459654 数据集存储大小（dataset_size）：822860 - 配置名称：es（西班牙语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：894779 样本数量：1511 下载大小（download_size）：507534 数据集存储大小（dataset_size）：894779 - 配置名称：eu（巴斯克语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：896518 样本数量：1511 下载大小（download_size）：485370 数据集存储大小（dataset_size）：896518 - 配置名称：hi（印地语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：1958974 样本数量：1511 下载大小（download_size）：739647 数据集存储大小（dataset_size）：1958974 - 配置名称：id（印尼语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：913463 样本数量：1511 下载大小（download_size）：476175 数据集存储大小（dataset_size）：913463 - 配置名称：my（缅甸语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：2735802 样本数量：1511 下载大小（download_size）：849229 数据集存储大小（dataset_size）：2735802 - 配置名称：ru（俄语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：1415824 样本数量：1511 下载大小（download_size）：688117 数据集存储大小（dataset_size）：1415824 - 配置名称：sw（斯瓦西里语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：879761 样本数量：1511 下载大小（download_size）：468032 数据集存储大小（dataset_size）：879761 - 配置名称：te（泰卢固语） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：2037222 样本数量：1511 下载大小（download_size）：745049 数据集存储大小（dataset_size）：2037222 - 配置名称：zh（中文） 特征字段（features）： - 名称：answer_right_ending 数据类型（dtype）：int32 - 名称：statement1 数据类型（dtype）：string - 名称：statement2 数据类型（dtype）：string 数据分割（splits）： - 名称：test（测试集） 字节数：806541 样本数量：1511 下载大小（download_size）：485889 数据集存储大小（dataset_size）：806541 配置项（configs）： - 配置名称：ar（阿拉伯语） 数据文件（data_files）： - 分割集：test（测试集） 路径：ar/test-* - 配置名称：en（英语） 数据文件（data_files）： - 分割集：test（测试集） 路径：en/test-* - 配置名称：es（西班牙语） 数据文件（data_files）： - 分割集：test（测试集） 路径：es/test-* - 配置名称：eu（巴斯克语） 数据文件（data_files）： - 分割集：test（测试集） 路径：eu/test-* - 配置名称：hi（印地语） 数据文件（data_files）： - 分割集：test（测试集） 路径：hi/test-* - 配置名称：id（印尼语） 数据文件（data_files）： - 分割集：test（测试集） 路径：id/test-* - 配置名称：my（缅甸语） 数据文件（data_files）： - 分割集：test（测试集） 路径：my/test-* - 配置名称：ru（俄语） 数据文件（data_files）： - 分割集：test（测试集） 路径：ru/test-* - 配置名称：sw（斯瓦西里语） 数据文件（data_files）： - 分割集：test（测试集） 路径：sw/test-* - 配置名称：te（泰卢固语） 数据文件（data_files）： - 分割集：test（测试集） 路径：te/test-* - 配置名称：zh（中文） 数据文件（data_files）： - 分割集：test（测试集） 路径：zh/test-*

原始信息汇总

数据集概述

数据集配置

• config_name: 包含多种语言配置，如ar, en, es, eu, hi, id, my, ru, sw, te, zh。
• features: 每种配置包含三个特征：
  • answer_right_ending: 数据类型为int32。
  • statement1: 数据类型为string。
  • statement2: 数据类型为string。

数据集分割

• split: 所有配置均包含名为test的分割。
• num_examples: 每个test分割包含1511个样本。
• num_bytes: 不同语言配置的test分割大小不同，具体如下：
  • ar: 1172623 bytes
  • en: 822860 bytes
  • es: 894779 bytes
  • eu: 896518 bytes
  • hi: 1958974 bytes
  • id: 913463 bytes
  • my: 2735802 bytes
  • ru: 1415824 bytes
  • sw: 879761 bytes
  • te: 2037222 bytes
  • zh: 806541 bytes

数据集大小与下载大小

• download_size: 不同语言配置的下载大小不同，具体如下：
  • ar: 581963 bytes
  • en: 459654 bytes
  • es: 507534 bytes
  • eu: 485370 bytes
  • hi: 739647 bytes
  • id: 476175 bytes
  • my: 849229 bytes
  • ru: 688117 bytes
  • sw: 468032 bytes
  • te: 745049 bytes
  • zh: 485889 bytes
• dataset_size: 与num_bytes相同，反映数据集的实际大小。

数据文件路径

• path: 每个配置的test分割数据文件路径格式为[语言代码]/test-*。

搜集汇总

数据集介绍

构建方式

在自然语言理解与常识推理的交汇领域，xStoryCloze数据集应运而生，旨在评估模型在多语言场景下对故事结局的推断能力。该数据集基于原始StoryCloze框架扩展而来，精心构建了涵盖阿拉伯语、英语、西班牙语、巴斯克语、印地语、印度尼西亚语、缅甸语、俄语、斯瓦希里语、泰卢固语和中文等11种语言的测试集。每个语言配置均包含1511个样本，每个样本由一句故事开头、一句故事延续以及一个标注正确答案的整数标签组成，确保数据在跨语言环境下的结构一致性与可比性。

特点

xStoryCloze数据集的核心特点在于其多语言覆盖与推理任务的纯粹性。它专注于常识推理这一高阶认知能力，通过提供两个连续的陈述句并要求模型选择正确的结局，来检验语言模型对隐含因果、时序及社会常识的理解深度。每个语言子集规模均衡，均为1511条测试样本，且数据格式简洁统一，仅包含字符串类型的陈述与整数类型的答案标签，便于研究者直接聚焦于跨语言推理能力的比较与提升。

使用方法

使用xStoryCloze数据集时，研究者可通过Hugging Face Datasets库按语言配置名称加载对应子集，例如选择'en'获取英语测试集。每个样本包含'statement1'（故事开头）、'statement2'（故事延续）和'answer_right_ending'（正确结局索引）。模型需基于前两句语义，从给定的两个选项中推理出最合理的结局。该数据集仅提供测试集，适合作为零样本或少样本跨语言推理评估的基准，也可用于微调多语言模型的常识推理能力。

背景与挑战

背景概述

在自然语言处理领域，常识推理能力是衡量模型对世界知识理解深度的重要标尺。XStoryCloze数据集由穆罕默德·本·扎耶德人工智能大学（MBZUAI）的研究团队创建，旨在弥补现有常识推理数据集在语言多样性上的不足。该数据集基于StoryCloze框架，通过构建包含两个候选结局的短篇故事，要求模型选择最合理的结局，从而评估其叙事理解与常识推理水平。XStoryCloze覆盖了阿拉伯语、英语、西班牙语、巴斯克语、印地语、印度尼西亚语、缅甸语、俄语、斯瓦希里语、泰卢固语和中文等11种语言，每种语言包含1511个测试样本，为跨语言常识推理研究提供了标准化评测基准。其发布推动了多语言预训练语言模型在低资源语言上的能力评估，成为检验模型泛化性能的关键资源。

当前挑战

XStoryCloze数据集面临的挑战首先体现在跨语言常识推理的领域难题上。不同语言的文化背景和表达习惯导致常识知识存在差异，模型需克服语言屏障捕捉隐含的因果关系与事件逻辑。例如，斯瓦希里语或泰卢固语等低资源语言的训练数据稀缺，使得模型难以习得可靠的常识模式。其次，数据集构建过程中面临质量控制挑战。每个故事的两个结局需在语义上保持合理但方向不同，人工标注需确保答案的唯一性，避免歧义。此外，多语言平行语料的收集与对齐工作繁重，不同语言的故事需在保持情节一致性的同时适应本地化表达，这对标注团队的跨文化协作能力提出了严苛要求。

常用场景

经典使用场景

在自然语言处理领域，叙事理解与常识推理一直被视为衡量机器语言智能的试金石。xStoryCloze数据集应运而生，它通过提供一段包含两个句子的微型故事，要求模型从两个候选结尾中选出逻辑上最合理的那个，从而精准评估模型在跨语言场景下对事件因果链与常识知识的捕捉能力。该数据集覆盖阿拉伯语、英语、西班牙语、印地语、中文等11种语言，每个子集均包含1511条测试样本，为多语言叙事推理研究提供了标准化的评测基准。

解决学术问题

长久以来，学界在构建多语言常识推理评测体系时面临语料匮乏与语言偏差的双重困境。xStoryCloze通过系统化地收集并标注11种语言的故事结尾选择任务，有效填补了这一空白。它解决了跨语言叙事理解中模型能否摆脱语言特异性干扰、真正习得普适性常识逻辑的学术难题。该数据集的发布使得研究者能够深入剖析不同语系下模型推理能力的异同，极大推动了多语言预训练语言模型在常识推理维度上的公平比较与性能提升。

衍生相关工作

xStoryCloze的出现催生了一系列富有影响力的后续研究。许多工作将其作为多语言常识推理的核心评测集，用于验证诸如mT5、XLM-R等跨语言模型的推理能力。部分学者在此基础上进一步扩展，提出了结合视觉信息的跨模态叙事推理任务，或利用提示学习与知识增强技术来提升模型在低资源语言上的表现。这些衍生工作不仅深化了对多语言常识推理机制的理解，也推动了更鲁棒、更通用的语言智能系统的发展。