rlhn-680K-qwen3-reranker-8b

RLHN-680K — Qwen3-Reranker-8B教师分数（top-200）是一个专为重排序模型知识蒸馏设计的训练数据集。它构成了Tevatron 3.0工具包中列表式KL重排序器蒸馏所使用的训练集。该数据集基于RLHN-680K数据集，为其中的每个查询配对了其候选段落（最多前200个），并利用Qwen3-Reranker-8B模型为每个段落生成了一个教师相关性分数，作为蒸馏训练中的软目标。数据集包含646,588个样本，每个样本包含以下字段：查询ID（query_id）、查询文本（query）、候选段落列表（passages，每个段落包含标题和文本）以及与段落顺序严格对齐的教师分数列表（scores）。教师分数由Qwen3-Reranker-8B模型生成，采用是/否逻辑对数几率形式，分数越高表示段落与查询越相关，分数值可能为负数。这些分数作为软标签，用于列表式KL散度或排序蒸馏任务。RLHN-680K — Qwen3-Reranker-8B Teacher Scores (top-200) is a training dataset specifically designed for knowledge distillation of reranking models. It serves as the training set for listwise KL reranker distillation in the Tevatron 3.0 toolkit. Based on the RLHN-680K dataset, it pairs each query with its candidate passages (up to the top 200) and uses the Qwen3-Reranker-8B model to generate a teacher relevance score for each passage as a soft target in distillation training. The dataset contains 646,588 samples, each including the following fields: query ID (query_id), query text (query), a list of candidate passages (each passage containing a title and text), and a list of teacher scores (scores) strictly aligned with the passage order. The teacher scores are generated by the Qwen3-Reranker-8B model in the form of yes/no log odds, where higher scores indicate greater relevance of the passage to the query, and the scores may be negative. These scores act as soft labels for listwise KL divergence or ranking distillation tasks.

原始信息汇总

数据集概述

数据集名称： RLHN-680K — Qwen3-Reranker-8B teacher scores (top-200)

许可协议： Apache-2.0

任务类别： 文本排序（text-ranking）

语言： 英语

标签： 重排序器（reranker）、知识蒸馏（distillation）、Tevatron、信息检索（information-retrieval）

数据集描述

该数据集是 Tevatron 3.0 在 listwise-KL 重排序器蒸馏过程中使用的蒸馏训练集。它基于 RLHN-680K 数据集，为每个查询配对了候选段落，并提供了由 Qwen3-Reranker-8B 模型生成的每个段落的教师相关性评分，作为蒸馏任务所需的软目标。

数据模式

字段	类型	描述
query_id	字符串	RLHN 查询 ID
query	字符串	查询文本
passages	列表（包含 title 和 text）	候选段落（最多前 200 个）
scores	浮点数列表	每个段落的教师评分，与 passages 顺序对齐

数据集规模

• 行数： 646,588

评分说明

• 教师模型： Qwen3-Reranker-8B（采用 yes/no log-odds 方法；值越高表示相关性越强，可能为负值）。
• 评分语义： scores[i] 对应 passages[i] 的教师相关性评分，可用作 listwise KL / 排序蒸馏的软标签。

使用方法

python from datasets import load_dataset ds = load_dataset("brutusxu/rlhn-680K-qwen3-reranker-8b-top200", split="train") row = ds[0] for p, s in zip(row["passages"], row["scores"]): print(s, p["text"][:80])

引用说明

请引用 Tevatron 工具包和原始的 RLHN-680K 数据集。

搜集汇总

数据集介绍

构建方式

该数据集是基于RLHN-680K原始查询-候选段落集合，利用Qwen3-Reranker-8B模型作为教师模型进行知识蒸馏的产物。具体而言，对于每一条查询，系统首先从RLHN-680K中提取与其关联的候选段落集合，最多包含200个段落。随后，教师模型Qwen3-Reranker-8B为每个候选段落独立计算一个相关性得分，该得分以对数几率（log-odds）形式呈现，数值可为负，其绝对值反映段落与查询的相关程度。最终，将查询、候选段落文本与一一对应的教师分值整合，形成结构化的蒸馏训练集。

特点

本数据集最显著的特点在于其作为列表级KL散度蒸馏的软标签载体。每条数据包含完整候选段落列表及其教师模型定制的相关性分数，而非简单的二元相关性判定，这使得学生模型能够学习到精细的排序分布。数据集规模庞大，共计646,588行，覆盖了海量查询-段落对，为训练高性能重排序模型提供了充足的监督信号。此外，教师分值采用连续实数值，与列表级排序蒸馏范式高度契合，有效弥补了传统硬标签在信息粒度上的不足。

使用方法

用户可通过HuggingFace的datasets库便捷加载该数据集。典型用法为调用`load_dataset("brutusxu/rlhn-680K-qwen3-reranker-8b-top200", split="train")`获取训练集。每一条记录包含query_id、query、passages和scores四个字段，其中passages为字典列表，每个字典含title和text字段，scores则为浮点数列表，与passages顺序对齐。在训练重排序模型时，研究者可直接将scores作为软标签，结合列表级KL散度损失函数进行知识蒸馏，从而有效迁移教师模型的重排序能力。

背景与挑战

背景概述

该数据集名为rlhn-680K-qwen3-reranker-8b，是在信息检索与排序学习领域的知识蒸馏背景下构建的，由Tevatron 3.0项目团队于近期开发，主要研究人员依托Tevatron工具套件，旨在解决列表式（listwise）重排序模型训练中教师软标签的获取与传递问题。其核心研究问题在于如何高效地将大型重排序模型（如Qwen3-Reranker-8B）的排序知识迁移至轻量级学生模型，从而在保持排序精度的同时降低推理成本。该数据集通过为RLHN-680K原始数据集中每个查询的前200个候选段落分配Qwen3-Reranker-8B的逐段落相关性评分，为后续的列表式KL散度蒸馏提供了高质量的软目标，对信息检索领域的模型压缩与效率优化具有重要推动力。

当前挑战

该数据集应对的核心领域挑战是重排序模型在追求高精度时面临的庞大计算开销与推理延迟，尤其是在处理大规模候选集时，单一大型模型难以在实时系统中部署。通过知识蒸馏，旨在将教师模型的排序能力压缩至更高效的学生模型，但教师软标签的生成本身要求对每个查询的多个候选段落进行精细评分，计算成本高昂。构建过程中，主要挑战在于确保教师评分的一致性与可靠性：Qwen3-Reranker-8B的输出为对数几率（log-odds），其数值可能为负且范围不定，如何合理利用这些软标签以忠实反映排序分布而不引入噪声是蒸馏成功的关键；此外，需对齐大量查询与候选段落（约64.6万行，每行最多200个段落），确保评分与段落顺序精确匹配，处理海量数据时的存储与加载效率也是不可忽视的工程难题。

常用场景

经典使用场景

该数据集专为信息检索领域中的重排序模型知识蒸馏而设计，是Tevatron 3.0框架下listwise-KL重排序蒸馏流程的核心训练资源。每一行数据包含一个RLHN查询及其对应的候选段落列表，同时提供由Qwen3-Reranker-8B教师模型为每个段落生成的软相关性分数。这些分数作为软标签，指导轻量级学生模型通过KL散度损失学习教师的排序逻辑，从而在保持高效推理的同时逼近大模型的排序性能。数据集规模达646,588条，覆盖丰富的查询-段落对，为研究人员提供了大规模、高质量的蒸馏训练基础。

实际应用

在实际工业场景中，该数据集可直接用于训练轻量级重排序模型，服务于搜索引擎、问答系统和推荐系统等需要实时响应的信息检索管道。经过蒸馏的学生模型能够在有限的计算资源下高效处理海量候选文档，例如在搜索引擎中快速重排top-k结果以改善用户体验，或在电商平台中对商品列表进行精细排序以提升转化率。该数据集提供的教师分数来源于Qwen3-Reranker-8B，后者代表了当前领先的重排序能力，使得蒸馏后的模型能够继承其精度，同时显著降低推理延迟，满足高并发、低延迟的生产环境需求。

衍生相关工作

该数据集衍生了多项学术与工程贡献，最直接的是Tevatron 3.0框架及其listwise-KL重排序蒸馏流程。基于此数据集，研究者可复现和扩展多项经典工作，例如RankDistill系列中的列表式蒸馏方法、基于对比学习的排序蒸馏技术，以及将硬负采样与软标签结合的混合训练策略。此外，该数据集还为教师-学生双向知识迁移、多教师集成蒸馏以及跨语言重排序蒸馏等前沿方向提供了实验起点，促进了信息检索领域从大型模型向高效部署模型的系统性转化。