AkshitaS/semrel_2024_plus

SemRel2024是一个包含14种语言的语义文本相关性（STR）数据集，涵盖了非洲和亚洲的多种语言。数据集由句子对组成，每个句子对都有一个相关性评分，范围从0（完全不相关）到1（最大相关）。该数据集被用于SemEval2024共享任务1，旨在评估系统测量两个句子之间语义相关性的能力。此外，SemRel2024 Plus版本还包含了使用indictrans库生成的hin_Latn数据。

原始信息汇总

数据集概述

任务类别

• 句子相似度

语言

• 南非荷兰语 (af)
• 阿姆哈拉语 (am)
• 泰卢固语 (te)
• 马拉地语 (mr)
• 旁遮普语 (pa)
• 印地语 (hi)
• 卢旺达语 (rw)
• 豪萨语 (ha)
• 印度尼西亚语 (id)
• 西班牙语 (es)
• 阿拉伯语 (arb)
• 阿拉伯语 (arq)
• 阿拉伯语 (ary)

配置

• afr_Latn
  • 测试集路径: data/afr_Latn/test*
  • 开发集路径: data/afr_Latn/dev*
• amh_Ethi
  • 测试集路径: data/amh_Ethi/test*
  • 开发集路径: data/amh_Ethi/dev*
• arb_Arab
  • 测试集路径: data/arb_Arab/test*
  • 开发集路径: data/arb_Arab/dev*
• arq_Arab
  • 测试集路径: data/arq_Arab/test*
  • 开发集路径: data/arq_Arab/dev*
• ary_Arab
  • 测试集路径: data/ary_Arab/test*
  • 开发集路径: data/ary_Arab/dev*
• eng_Latn
  • 测试集路径: data/eng_Latn/test*
  • 开发集路径: data/eng_Latn/dev*
• hau_Latn
  • 测试集路径: data/hau_Latn/test*
  • 开发集路径: data/hau_Latn/dev*
• hin_Deva
  • 测试集路径: data/hin_Deva/test*
  • 开发集路径: data/hin_Deva/dev*
• hin_Latn
  • 测试集路径: data/hin_Latn/test*
  • 开发集路径: data/hin_Latn/dev*
• ind_Latn
  • 测试集路径: data/ind_Latn/test*
  • 开发集路径: data/ind_Latn/dev*
• kin_Latn
  • 测试集路径: data/kin_Latn/test*
  • 开发集路径: data/kin_Latn/dev*
• mar_Deva
  • 测试集路径: data/mar_Deva/test*
  • 开发集路径: data/mar_Deva/dev*
• pan_Guru
  • 测试集路径: data/pan_Guru/test*
  • 开发集路径: data/pan_Guru/dev*
• spa_Latn
  • 测试集路径: data/spa_Latn/test*
  • 开发集路径: data/spa_Latn/dev*
• tel_Telu
  • 测试集路径: data/tel_Telu/test*
  • 开发集路径: data/tel_Telu/dev*

数据集描述

• SemRel2024: 包含14种语言的语义文本相关性数据集，用于评估系统测量两个句子之间语义相关性的能力。
• SemRel2024 Plus: 在SemRel2024的基础上，增加了使用indictrans库生成的hin_Latn数据。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，语义文本相关性（STR）任务对于多语言理解至关重要。SemRel2024 Plus数据集在SemRel2024的基础上扩展构建，专为句子相似度任务设计。其构建方式基于SemRel2024原始语料，该语料覆盖14种语言，包含非洲与亚洲语言，每对句子均标注了0至1之间的相关性分数。为了增强覆盖度，本研究利用IndicTrans库为印地语（hin_Deva）生成对应的拉丁转写版本（hin_Latn），从而形成更完整的语言表示。数据集以语言特定配置组织，每个配置包含测试集与开发集，数据文件按统一路径模式存放，便于模块化加载与跨语言实验。

特点

该数据集的显著特点在于其多语言与跨文字体系的包容性。它囊括了阿非利卡语、阿姆哈拉语、阿拉伯语变体、英语、豪萨语、印地语、印度尼西亚语、卢旺达语、马拉地语、旁遮普语、西班牙语及泰卢固语等，涉及拉丁、天城文、阿拉伯文、埃塞俄比亚音节文字等多种书写系统。特别是印地语拉丁转写数据的加入，填补了罗马化印地语在语义相关性评估中的空白。每对句子的相关性分数覆盖从完全无关到高度相关的广泛区间，为细粒度语义建模提供了丰富标注。数据集结构清晰，按语言独立分割，支持跨语言迁移学习与零样本评估。

使用方法

使用该数据集时，可通过HuggingFace Datasets库按语言配置加载对应子集，例如选择'hin_Latn'或'arb_Arab'。每个配置包含'test'与'dev'两个划分，适用于模型训练与性能验证。数据集预定义为'sentence-similarity'任务类别，可直接用于训练语义相关性回归模型或作为多语言句子编码器的评估基准。建议研究者根据目标语言选择相应配置，利用提供的相关性分数作为监督信号，亦可结合多语言微调策略提升跨语言泛化能力。数据加载时支持通配符路径，便于批量读取与分布式处理。

背景与挑战

背景概述

语义文本相关性（Semantic Textual Relatedness, STR）是自然语言处理领域的基础任务之一，旨在量化两个句子在语义层面的关联程度，其应用范围涵盖信息检索、对话系统与机器翻译评估等。AkshitaS/semrel_2024_plus数据集由研究者于2024年发布，源自SemEval-2024共享任务1中的SemRel2024语料库，由多机构联合构建，核心研究问题在于推动低资源语言（尤其是非洲与亚洲语言）的语义相关性评估。该数据集覆盖14种语言，包括阿姆哈拉语、阿拉伯语方言、印地语及泰卢固语等，通过人工标注为每对句子分配0（完全不相关）至1（最大相关）的连续相关性分数，为跨语言语义建模提供了标准化基准。其影响力体现在填补了高资源语言之外的相关性评估空白，并促使研究者关注语言多样性对模型泛化能力的挑战。

当前挑战

该数据集面临的挑战首先源于领域问题的复杂性：语义相关性不同于语义等价性，需区分主题关联与逻辑蕴含，而低资源语言缺乏大规模预训练语料，使得模型难以捕捉文化特有的隐喻或语境依赖。在构建过程中，标注一致性成为核心难题——14种语言涉及多种文字系统（如天城文、阿拉伯文与拉丁转写），不同语言对相关性的感知差异导致标注者间信度波动。此外，印地语拉丁转写（hin_Latn）数据通过机器音译生成，引入了噪声和拼写变体，可能削弱下游任务的可靠性。数据稀疏性同样突出，部分语言仅提供测试与开发集，缺乏训练数据，限制了监督学习的可行性。

常用场景

经典使用场景

在自然语言处理领域，语义文本相关性（Semantic Textual Relatedness, STR）任务是衡量句子间语义关联程度的核心挑战之一。AkshitaS/semrel_2024_plus 数据集汇集了涵盖非洲、亚洲及拉丁语系在内的14种语言的句子对，每个句子对均标注了从0（完全无关）到1（最大相关）的细粒度相关性分数。该数据集最经典的使用场景是作为跨语言语义相关性评估的基准，尤其在低资源语言（如阿姆哈拉语、豪萨语、泰卢固语等）中，为训练和测试模型在不同语言背景下的语义理解能力提供了标准化的测试平台。

实际应用

在实际应用中，该数据集可支撑构建多语言语义搜索引擎、跨语言文本匹配系统和机器翻译质量评估工具。例如，在电商平台的跨语言商品检索场景中，模型需判断不同语言描述的商品是否语义相关；在社交媒体内容监管中，系统需识别多种语言表达的相似意图或话题。此外，该数据集的细粒度评分特性使其适用于教育领域的自动评分系统，通过比较学生答案与标准答案的语义相关性来提供反馈，从而在全球化语言服务中实现更精准的语义理解。

衍生相关工作

该数据集源于 SemEval-2024 共享任务1，直接催生了多项关于多语言语义相关性建模的前沿研究。基于该数据集，研究者开发了基于多语言预训练模型（如 XLM-R、mBERT）的微调方法，并对比了不同语言对间的迁移学习效果。此外，该数据集还衍生出针对低资源语言的增强策略，例如利用回译和对抗训练提升模型在数据稀疏语言上的表现。后续工作进一步扩展了其应用边界，如结合知识图谱进行语义相关性解释，或将其作为多语言句子嵌入评估的测试床，推动了跨语言NLP基准的标准化进程。