Retrieval-Augmented Generation Benchmark (RGB)
收藏arXiv2023-12-20 更新2024-08-06 收录
下载链接：
http://arxiv.org/abs/2309.01431v2
下载链接
链接失效反馈官方服务：
资源简介：
Retrieval-Augmented Generation Benchmark (RGB)是由中国科学院软件研究所创建的一个新型数据集，旨在评估大型语言模型在检索增强生成方面的能力。该数据集包含600个基础问题，涵盖英语和中文，通过最新新闻文章构建，并使用搜索引擎获取外部文档。RGB数据集特别关注四大基本能力：噪声鲁棒性、否定拒绝、信息整合和反事实鲁棒性，旨在解决大型语言模型在处理外部信息时的挑战，如信息噪声和事实错误。
提供机构：
中国科学院软件研究所
创建时间：
2023-09-04
搜集汇总
数据集介绍
背景与挑战
背景概述
Retrieval-Augmented Generation Benchmark (RGB)是由中国科学院软件研究所创建的数据集，用于评估大型语言模型在检索增强生成方面的能力。它包含600个英语和中文问题，基于新闻文章构建，并关注噪声鲁棒性、否定拒绝、信息整合和反事实鲁棒性四大能力，以解决模型处理外部信息时的挑战。
以上内容由遇见数据集搜集并总结生成
