GapView Experiment

This repository accompanies the paper “Mind the Gap: Measuring Knowledge Gaps in RAG Pipelines” and provides all data, embeddings, and analysis scripts used in the study. The project introduces GapView, a preretrieval diagnostic method that uses cosine similarity between question and document embeddings to evaluate whether a knowledge base contains the information needed to answer user questions before invoking a RAG pipeline. The included .zip file contains six synthetic datasets spanning clinical and programming domains, along with Python scripts and result files that reproduce the experiments on cosine similarity alignment (RQ1) and embedding stability (RQ2) and and the threshold separation using one-dimensional cosine similarity distributions (RQ3). To resimulate RQ3 , one can go to the visualization.py file.本仓库配套于学术论文《Mind the Gap: 量化检索增强生成（Retrieval-Augmented Generation，RAG）流水线中的知识缺口》，并提供了该研究中使用的全部数据、嵌入向量（embeddings）与分析脚本。 本项目推出了GapView预检索诊断方法，该方法通过计算问题与文档嵌入向量间的余弦相似度，在调用RAG流水线前，评估知识库是否包含回答用户问题所需的信息。 本仓库附带的.zip压缩包包含覆盖临床与编程领域的6个合成数据集，同时附带可复现三项实验的Python脚本与结果文件：余弦相似度对齐实验（研究问题1，RQ1）、嵌入稳定性实验（研究问题2，RQ2），以及基于一维余弦相似度分布的阈值划分实验（研究问题3，RQ3）。若需重新模拟RQ3相关实验，可运行visualization.py文件。