irds/neumarco_ru
收藏Hugging Face2023-01-05 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/irds/neumarco_ru
下载链接
链接失效反馈官方服务:
资源简介:
`neumarco/ru`数据集由`ir-datasets`包提供,包含8,841,823个文档(`docs`)。该数据集被多个相关数据集使用,如`neumarco_ru_dev`、`neumarco_ru_dev_judged`等。用户可以通过`datasets`库加载该数据集,并访问每个文档的`doc_id`和`text`字段。
---
展示名:`neumarco/ru`
查看器:不可用
源数据集:无
任务类别:
- 文本检索
---
# `neumarco/ru` 数据集卡片
本`neumarco/ru`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情,请参阅[官方文档](https://ir-datasets.com/neumarco#neumarco/ru)。
# 数据
本数据集包含:`docs`(即文档语料库),共计8,841,823条。
本数据集被以下数据集使用:[`neumarco_ru_dev`](https://huggingface.co/datasets/irds/neumarco_ru_dev)、[`neumarco_ru_dev_judged`](https://huggingface.co/datasets/irds/neumarco_ru_dev_judged)、[`neumarco_ru_dev_small`](https://huggingface.co/datasets/irds/neumarco_ru_dev_small)、[`neumarco_ru_train`](https://huggingface.co/datasets/irds/neumarco_ru_train)、[`neumarco_ru_train_judged`](https://huggingface.co/datasets/irds/neumarco_ru_train_judged)
## 使用方法
python
from datasets import load_dataset
docs = load_dataset('irds/neumarco_ru', 'docs')
for record in docs:
record # {'doc_id': ..., 'text': ...}
请注意,调用`load_dataset`函数将下载该数据集(若数据集未公开,则会提供获取指引),并将数据以🤗 Dataset格式保存为副本。
提供机构:
irds
原始信息汇总
数据集概述
数据集名称
neumarco/ru
数据来源
由 ir-datasets 包提供。
数据内容
docs(文档,即语料库); 总数=8,841,823
数据用途
该数据集被用于以下项目:
neumarco_ru_devneumarco_ru_dev_judgedneumarco_ru_dev_smallneumarco_ru_trainneumarco_ru_train_judged
使用示例
python from datasets import load_dataset
docs = load_dataset(irds/neumarco_ru, docs) for record in docs: record # {doc_id: ..., text: ...}
注意:调用 load_dataset 将下载数据集(或在非公开情况下提供访问指令),并以 🤗 Dataset 格式复制数据。



