yuri-no/MLDR-corpus-ita
收藏Hugging Face2024-06-25 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/yuri-no/MLDR-corpus-ita
下载链接
链接失效反馈官方服务：
资源简介：
MLDR是一个多语言长文档检索数据集，基于Wikipedia、Wudao和mC4构建，涵盖13种语言。数据集通过从这些来源中抽取长篇文章，并随机选择段落，使用GPT-3.5生成问题，形成新的文本对。数据集结构包括训练集、开发集、测试集和语料库，每种语言都有相应的分割。
MLDR是一个多语言长文档检索数据集，基于Wikipedia、Wudao和mC4构建，涵盖13种语言。数据集通过从这些来源中抽取长篇文章，并随机选择段落，使用GPT-3.5生成问题，形成新的文本对。数据集结构包括训练集、开发集、测试集和语料库，每种语言都有相应的分割。
提供机构：
yuri-no
原始信息汇总
数据集概述
数据集特征
- docid：数据类型为字符串。
- text：数据类型为字符串。
数据集划分
- corpus：包含10000个示例，总字节数为369150678。
数据集大小
- 下载大小：218181145字节。
- 数据集大小：369150678字节。
配置
- 配置名称：default
- 数据文件路径：
data/corpus-*，划分类型为corpus。
