CIRAL/CIRAL-Baselines
收藏Hugging Face2023-08-14 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/CIRAL/CIRAL-Baselines
下载链接
链接失效反馈官方服务：
资源简介：
## CIRAL Baselines and Indexes
### Reproduction
This repo provides the CIRAL's built indexes (Pre-built indexes) to reproduce baselines.
To search using the indexes:
1. Afriberta-DPR
```bash
lang=yo # or ha, so, sw
set=train # or test
run_file=runs/run.ciral.afriberta-dpr.${lang}.${set}.txt
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/afriberta-dpr-ptf-msmarco-ft-latin-mrtydi \
--topics /path/to/topics \
--index /path/to/faiss.ciral-v1.0-${lang}-afriberta-dpr \
--output ${run_file} --batch 128 --threads 16 --hits 1000
```
提供机构：
CIRAL
原始信息汇总
CIRAL Baselines and Indexes
数据集概述
- 数据集名称: CIRAL
- 数据集版本: v1.0
使用方法
- 搜索索引: 使用预构建的索引进行搜索。
- 支持语言:
- 约鲁巴语 (yo)
- 豪萨语 (ha)
- 索马里语 (so)
- 斯瓦希里语 (sw)
- 数据集类型:
- 训练集 (train)
- 测试集 (test)
搜索命令示例
bash lang=yo # 或 ha, so, sw set=train # 或 test
run_file=runs/run.ciral.afriberta-dpr.${lang}.${set}.txt
python -m pyserini.search.faiss
--encoder-class auto
--encoder castorini/afriberta-dpr-ptf-msmarco-ft-latin-mrtydi
--topics /path/to/topics
--index /path/to/faiss.ciral-v1.0-${lang}-afriberta-dpr
--output ${run_file} --batch 128 --threads 16 --hits 1000
