mlsa-iai-msu-lab/ru_sci_bench_zho_cite_reranking

---
dataset_info:
- config_name: corpus
features:
- name: id
dtype: string
- name: text
dtype: string
- name: title
dtype: string
splits:
- name: corpus
num_bytes: 406189752
num_examples: 504948
download_size: 257375058
dataset_size: 406189752
- config_name: qrels
features:
- name: query-id
dtype: string
- name: corpus-id
dtype: string
- name: score
dtype: int64
splits:
- name: qrels
num_bytes: 19150704
num_examples: 640899
download_size: 10963013
dataset_size: 19150704
- config_name: queries
features:
- name: id
dtype: string
- name: text
dtype: string
splits:
- name: queries
num_bytes: 5748933
num_examples: 5000
download_size: 3394964
dataset_size: 5748933
- config_name: top_ranked
features:
- name: query-id
dtype: string
- name: corpus-ids
list: string
splits:
- name: top_ranked
num_bytes: 7045938
num_examples: 4821
download_size: 5389334
dataset_size: 7045938
configs:
- config_name: corpus
data_files:
- split: corpus
path: corpus/corpus-*
- config_name: qrels
data_files:
- split: qrels
path: qrels/qrels-*
- config_name: queries
data_files:
- split: queries
path: queries/queries-*
- config_name: top_ranked
data_files:
- split: top_ranked
path: top_ranked/top_ranked-*
license: mit
task_categories:
- text-retrieval
language:
- en
- zh
tags:
- mteb
---

# RuSciBenchReranking

The dataset for this task was collected from **sciencechina.cn**. The objective of the RuSciBenchReranking task is to rank a mixed collection of positive and negative candidate articles based on their vector proximity to a query article. The system is evaluated on its ability to rank positive examples—randomly selected articles from the query’s citation list—higher than negative ones.

To construct the collection of negative candidates, we employ three distinct sampling strategies. Each strategy generates up to 50 negative samples per query article (resulting in a total of up to 150 negative candidates), provided the selected papers were published earlier than the target and do not appear in its citation list:

* **Subject-based sampling:** Articles are randomly selected from the same subject as the query article.
* **Citation-chain sampling:** Candidates are drawn from the references of the papers cited by the query article (i.e., second-order citations).
* **Random sampling:** Articles are selected randomly from the entire dataset.

## How to evaluate on this task

First, install MTEB version with this task:

```bash
pip install git+https://github.com/mlsa-iai-msu-lab/ru_sci_bench_mteb.git@ruscibench
```

Then run code evaluate a model on this task:

```python
import mteb
from sentence_transformers import SentenceTransformer
model_name = "sentence-transformers/all-MiniLM-L6-v2"
model = mteb.get_model(model_name)
tasks = mteb.get_tasks(tasks=["RuSciBenchReranking"])
results = mteb.evaluate(model, tasks=tasks)
```

---
dataset_info:
- 配置名称：corpus（语料库）
特征：
- 名称：id
数据类型：string
- 名称：text
数据类型：string
- 名称：title
数据类型：string
划分：
- 划分名称：corpus
字节数：406189752
样本数：504948
下载大小：257375058
数据集大小：406189752
- 配置名称：qrels（查询相关性标注集）
特征：
- 名称：query-id（查询ID）
数据类型：string
- 名称：corpus-id（语料库ID）
数据类型：string
- 名称：score
数据类型：int64
划分：
- 划分名称：qrels
字节数：19150704
样本数：640899
下载大小：10963013
数据集大小：19150704
- 配置名称：queries（查询集）
特征：
- 名称：id
数据类型：string
- 名称：text
数据类型：string
划分：
- 划分名称：queries
字节数：5748933
样本数：5000
下载大小：3394964
数据集大小：5748933
- 配置名称：top_ranked（Top排序结果集）
特征：
- 名称：query-id（查询ID）
数据类型：string
- 名称：corpus-ids（语料库ID列表）
数据类型：list[string]
划分：
- 划分名称：top_ranked
字节数：7045938
样本数：4821
下载大小：5389334
数据集大小：7045938
configs:
- 配置名称：corpus（语料库）
数据文件：
- 划分：corpus
路径：corpus/corpus-*
- 配置名称：qrels（查询相关性标注集）
数据文件：
- 划分：qrels
路径：qrels/qrels-*
- 配置名称：queries（查询集）
数据文件：
- 划分：queries
路径：queries/queries-*
- 配置名称：top_ranked（Top排序结果集）
数据文件：
- 划分：top_ranked
路径：top_ranked/top_ranked-*
license: MIT许可证
task_categories:
- 文本检索（text-retrieval）
language:
- 英语（en）
- 汉语（zh）
tags:
- MTEB
---

# RuSciBenchReranking

该任务的数据集采集自sciencechina.cn（科学网）。RuSciBenchReranking任务的目标是基于候选文章与查询文章的向量相似度，对混合了正、负样本的候选文章集合进行排序。系统的评估标准为能否将正样本（从查询文章的参考文献列表中随机选取的文章）排在负样本之前。

为构建负候选样本集合，我们采用三种不同的采样策略。每种策略可为每个查询文章生成最多50个负样本（总负候选样本最多可达150个），前提是所选论文的发表时间早于目标论文，且未出现在目标论文的参考文献列表中：

* **基于主题采样（Subject-based sampling）**：从与查询文章同属一个主题的文章中随机选取。
* **引用链采样（Citation-chain sampling）**：从查询文章所引用论文的参考文献中选取候选样本（即二阶引用）。
* **随机采样（Random sampling）**：从整个数据集中随机选取文章。

## 任务评估流程

首先，安装支持该任务的MTEB版本：

bash
pip install git+https://github.com/mlsa-iai-msu-lab/ru_sci_bench_mteb.git@ruscibench

随后运行以下代码对模型在该任务上的性能进行评估：

python
import mteb
from sentence_transformers import SentenceTransformer
model_name = "sentence-transformers/all-MiniLM-L6-v2"
model = mteb.get_model(model_name)
tasks = mteb.get_tasks(tasks=["RuSciBenchReranking"])
results = mteb.evaluate(model, tasks=tasks)