yuri-no/MLDR-ita
收藏Hugging Face2024-06-25 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/yuri-no/MLDR-ita
下载链接
链接失效反馈官方服务：
资源简介：
MLDR是一个基于Wikipedia、Wudao和mC4构建的多语言长文档检索数据集，涵盖了13种不同类型的语言。具体来说，我们从Wikipedia、Wudao和mC4数据集中抽取长篇文章，并从中随机选择段落。然后，我们使用GPT-3.5基于这些段落生成问题。生成的问题和抽样的文章构成了数据集中的新文本对。GPT-3.5的提示是：“你是一个好奇的AI助手，请根据以下文本生成一个具体且有价值的问题。生成的问题应围绕文本的核心内容，并避免使用代词（例如，‘这个’）。请注意，你应只生成一个问题，不包含其他内容。”
MLDR是一个基于Wikipedia、Wudao和mC4构建的多语言长文档检索数据集，涵盖了13种不同类型的语言。具体来说，我们从Wikipedia、Wudao和mC4数据集中抽取长篇文章，并从中随机选择段落。然后，我们使用GPT-3.5基于这些段落生成问题。生成的问题和抽样的文章构成了数据集中的新文本对。GPT-3.5的提示是：“你是一个好奇的AI助手，请根据以下文本生成一个具体且有价值的问题。生成的问题应围绕文本的核心内容，并避免使用代词（例如，‘这个’）。请注意，你应只生成一个问题，不包含其他内容。”
提供机构：
yuri-no
原始信息汇总
数据集概述
数据集特征
- query_id: 数据类型为字符串。
- query: 数据类型为字符串。
- positive_passages: 包含以下子特征：
- docid: 数据类型为字符串。
- text: 数据类型为字符串。
- title: 数据类型为字符串。
- negative_passages: 包含以下子特征：
- docid: 数据类型为字符串。
- text: 数据类型为字符串。
- title: 数据类型为字符串。
数据集分割
- train: 大小为821585994字节，包含2151个样本。
- dev: 大小为23766908字节，包含200个样本。
- test: 大小为23102161字节，包含200个样本。
数据集大小
- 下载大小: 520329188字节。
- 数据集总大小: 868455063字节。
配置文件
- default: 包含以下数据文件路径：
- train:
data/train-* - dev:
data/dev-* - test:
data/test-*
- train:
