Limour/G2Retrieval
收藏Hugging Face2024-03-30 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/Limour/G2Retrieval
下载链接
链接失效反馈官方服务：
资源简介：
这是一个用于视觉小说领域的Retrieval评价数据集，主要用于评估不同模型在检索任务中的表现。数据集中包含一个名为data_sample2k的样本集，展示了多个模型在该样本集上的NDCG评分。
这是一个用于视觉小说领域的Retrieval评价数据集，主要用于评估不同模型在检索任务中的表现。数据集中包含一个名为data_sample2k的样本集，展示了多个模型在该样本集上的NDCG评分。
提供机构：
Limour
原始信息汇总
数据集概述
该数据集是视觉小说领域的 Retrieval 评价数据集。
数据集详情
- 许可证: cc-by-nc-sa-4.0
- 语言: 中文
模型性能比较
以下是不同模型在 data_sample2k 数据集上的性能指标：
| 模型 | NDCG@3 | NDCG@10 | NDCG@50 | NDCG@100 | NDCG@200 |
|---|---|---|---|---|---|
| acge_text_embedding | 83.53±17.86 | 76.97±17.79 | 61.52±20.61 | 52.07±20.87 | 42.49±19.83 |
| IYun-large-zh | 80.53±20.53 | 71.40±20.87 | 52.93±21.96 | 43.40±20.72 | 34.88±18.50 |
| bce-embedding-base_v1 | 77.08±23.44 | 68.39±22.61 | 51.95±22.85 | 43.36±21.51 | 35.31±19.09 |
| Dmeta-embedding | 77.56±22.12 | 68.62±21.96 | 51.58±22.29 | 42.71±21.04 | 34.33±18.61 |
| random | 01.66±05.78 | 02.06±03.66 | 02.23±02.52 | 02.13±02.03 | 02.40±01.91 |
