RAR-b
收藏arXiv2024-05-13 更新2024-07-30 收录
下载链接：
https://github.com/gowitheflow-1998/RAR-b
下载链接
链接失效反馈官方服务：
资源简介：
一个全面评估检索模型中存储的推理能力的任务和设置套件。
创建时间：
2024-04-09
原始信息汇总
RAR-b 数据集概述
数据集更新
- 2024年7月2日：新增数据集/指令工具；RAR-b已集成到MTEB，并提供排行榜。
- 2024年4月15日：所有RAR-b处理后的数据集、工具和评估脚本已开源。
- 2024年4月9日：发布RAR-b论文。
数据集下载
- 完整数据集检索（full）设置的所有数据集托管在Huggingface。
- 多选设置（mcr）的所有数据集已随git clone一起提供（CSTS除外，提供了重现代码
mcr/create_csts.py）。
数据集加载
- 提供
HFDataLoader从Huggingface加载完整设置数据集。 - 提供
task_to_instruction获取任务特定默认指令。
评估
- 提供
scripts文件夹以重现RAR-b论文中的评估结果。 - 示例：评估BGE模型，运行
python scripts/evaluate-BGE.py。
示例
- 示例代码展示了如何使用Grit模型进行评估，包括有和无指令的情况。
