ravithejads/ms_marco_hi_mr_te

---
dataset_info:
features:
- name: answers
sequence: string
- name: passages
sequence:
- name: is_selected
dtype: int32
- name: passage_text
dtype: string
- name: url
dtype: string
- name: query
dtype: string
- name: query_id
dtype: int32
- name: query_type
dtype: string
- name: wellFormedAnswers
sequence: string
- name: query_hi
dtype: string
- name: answers_hi
dtype: string
- name: passage_text_hi
sequence: string
- name: query_mr
dtype: string
- name: passage_text_mr
sequence: string
- name: answers_mr
sequence: string
- name: query_te
dtype: string
- name: passage_text_te
sequence: string
- name: answers_te
sequence: string
splits:
- name: test
num_bytes: 311285940
num_examples: 9650
download_size: 109117289
dataset_size: 311285940
configs:
- config_name: default
data_files:
- split: test
path: data/test-*
---

数据集信息:
特征列表:
- 字段名: answers
数据类型: 字符串序列
- 字段名: passages
数据类型: 序列
序列元素:
- 字段名: is_selected
数据类型: 32位整数（int32）
- 字段名: passage_text
数据类型: 字符串
- 字段名: url
数据类型: 统一资源定位符（URL）
- 字段名: query
数据类型: 字符串
- 字段名: query_id
数据类型: 32位整数（int32）
- 字段名: query_type
数据类型: 字符串
- 字段名: wellFormedAnswers
数据类型: 字符串序列
- 字段名: query_hi（印地语查询文本）
数据类型: 字符串
- 字段名: answers_hi（印地语答案序列）
数据类型: 字符串序列
- 字段名: passage_text_hi（印地语段落文本序列）
数据类型: 字符串序列
- 字段名: query_mr（马拉地语查询文本）
数据类型: 字符串
- 字段名: passage_text_mr（马拉地语段落文本序列）
数据类型: 字符串序列
- 字段名: answers_mr（马拉地语答案序列）
数据类型: 字符串序列
- 字段名: query_te（泰卢固语查询文本）
数据类型: 字符串
- 字段名: passage_text_te（泰卢固语段落文本序列）
数据类型: 字符串序列
- 字段名: answers_te（泰卢固语答案序列）
数据类型: 字符串序列
数据集划分:
- 划分名称: test（测试集）
字节数: 311285940
样本数量: 9650
下载体积: 109117289 字节
数据集总大小: 311285940 字节
配置项:
- 配置名称: default（默认配置）
数据文件:
- 对应划分: test（测试集）
文件路径: data/test-*

原始信息汇总

数据集概述

数据集特征

• answers: 字符串序列
• passages: 序列，包含以下字段：
  • is_selected: 整型 (int32)
  • passage_text: 字符串
  • url: 字符串
• query: 字符串
• query_id: 整型 (int32)
• query_type: 字符串
• wellFormedAnswers: 字符串序列
• query_hi: 字符串
• answers_hi: 字符串
• passage_text_hi: 字符串序列
• query_mr: 字符串
• passage_text_mr: 字符串序列
• answers_mr: 字符串序列
• query_te: 字符串
• passage_text_te: 字符串序列
• answers_te: 字符串序列

数据集分割

• test:
  • 字节数: 311285940
  • 示例数: 9650

数据集大小

• 下载大小: 109117289
• 数据集大小: 311285940

配置

• config_name: default
• data_files:
  • split: test
  • path: data/test-*

搜集汇总

数据集介绍

构建方式

在信息检索与问答系统的研究领域，多语言数据集的匮乏长期制约着非英语语种模型的性能提升。该数据集基于经典的MS MARCO语料库进行深度扩展，通过人工翻译与自动化对齐技术，将原始英文查询、段落与答案精准转化为印地语（hi）、马拉地语（mr）和泰卢固语（te）三种印度主流语言。构建过程中严格保留了原始结构中的查询ID、段落选择标记等元信息，确保跨语言版本间的一一对应关系，最终形成包含9650个测试样本的多语言平行语料。

特点

该数据集最显著的特征在于其多语言对齐的精细设计，每个样本均同时提供英文及三种印度语言的查询、答案与候选段落文本，为跨语言信息检索与生成式问答研究提供了稀缺的基准资源。数据集完整继承了MS MARCO的查询类型分类与wellFormedAnswers字段，使得研究者能够同时评估模型在原始语言与目标语言上的表现差异。此外，序列化的段落结构支持对多段落选择与答案生成任务的联合评测，增强了数据集的实用维度。

使用方法

使用者可通过HuggingFace Datasets库的load_dataset函数直接加载该数据集，指定config名称为'default'并选择'test'分片即可获取完整的多语言样本。在模型训练或评估时，可依据任务需求提取query_hi、passage_text_mr、answers_te等特定语言字段，构建单语或跨语言的输入输出对。建议研究者将原始英文字段作为参照基准，利用多语言版本进行零样本迁移学习或机器翻译增强的问答系统性能分析，同时注意数据仅包含测试集，适用于评估而非微调训练。

背景与挑战

背景概述

在信息检索与机器阅读理解领域，多语言与跨语言数据集的构建是推动模型泛化能力提升的关键。由raviThejADS团队创建的ms_marco_hi_mr_te数据集，基于经典的MS MARCO（Microsoft MAchine Reading COmprehension）框架，专注于将英文查询与语料扩展至印地语、马拉地语和泰卢固语三种印度语言。该数据集创建于近年来对低资源语言NLP需求的激增背景下，旨在解决多语言问答系统中训练数据匮乏的问题。其核心研究问题在于：如何通过高质量的翻译与对齐策略，使模型能够理解并回答多语言查询，从而促进信息无障碍访问。该数据集包含9650个测试样本，涵盖查询、段落、答案及多语言对应字段，为评估多语言阅读理解模型提供了标准化基准，对推动南亚语言的自然语言处理研究具有重要影响力。

当前挑战

该数据集面临的核心挑战首先在于多语言语义对齐的复杂性：不同语言间的语法结构、词汇歧义和文化背景差异，使得自动翻译后的查询与段落难以保持原始语义的精确性，直接影响模型对跨语言问题的理解能力。其次，数据集构建过程中遇到了低资源语言标注与质量控制的困难，如印地语、马拉地语和泰卢固语的语料库规模有限，且缺乏大规模人工验证的平行语料，导致部分翻译结果存在噪声或语境不匹配。此外，现有测试集规模较小（仅9650样本），限制了模型在多样化查询类型上的泛化评估，而查询类型字段的单一性也增加了对复杂推理任务覆盖不足的风险。这些挑战共同制约了多语言问答系统在实际场景中的鲁棒性与实用性。

常用场景

经典使用场景

在跨语言信息检索与问答系统的研究领域中，ravithejads/ms_marco_hi_mr_te数据集以其独特的多语言对齐特性而备受瞩目。该数据集基于经典的MS MARCO语料库，通过人工或自动翻译手段，将原始英文查询、段落及答案扩展至印地语、马拉地语和泰卢固语三种印度主流语言。其最经典的使用场景在于评估和训练面向低资源语言的机器阅读理解模型，研究者可借助该数据集，检验模型在跨语言迁移学习中的泛化能力，尤其是在缺乏大规模标注数据的情况下，如何利用多语言平行语料提升对印度诸语言的语义理解与答案抽取效果。

解决学术问题

该数据集精准回应了自然语言处理领域中一个长期存在的学术挑战：如何构建一个覆盖多语种、尤其是低资源语言的标准化问答评估基准。长期以来，多数问答数据集集中于英语等资源丰富语言，导致针对印度次大陆语言的模型性能评估缺乏可靠参照。ravithejads/ms_marco_hi_mr_te通过提供平行对齐的查询与段落，使研究者能够系统度量跨语言语义对齐的准确性、翻译噪声对模型鲁棒性的影响，以及零样本或少样本场景下机器阅读理解的迁移效率。这一工作不仅填补了南亚语言在开放域问答评测中的空白，更为探究多语言表示学习的本质规律提供了关键实验平台。

衍生相关工作

该数据集的发布催生了一系列具有影响力的衍生研究。例如，基于其平行语料特性，研究者开发了针对印度语言的跨语言表示学习预训练模型，如利用对比学习增强多语言BERT在印地语-英语对上的对齐效果。另有工作以其为测试床，探索了翻译质量对下游问答性能的因果影响，并提出了噪声鲁棒的训练策略。此外，在低资源机器阅读理解领域，该数据集被用作多任务学习的辅助资源，通过联合训练英语与印度语言任务，显著提升了目标语言的推理准确率。这些衍生工作共同推动了多语言NLP从资源丰富语言向低资源语言的实质性进步。