orgforge

OrgForge企业RAG基准测试是一个合成的、基于因果关系的基准数据集，旨在评估RAG系统在真实企业知识库中的表现。该数据集由OrgForge组织模拟器生成，模拟了22天的企业活动，包括JIRA工单、Confluence页面、Slack线程、电子邮件和PR等文档类型。数据集包含1,079个文档和83个评估问题，覆盖了检索、因果推理、计划、时间推理等多种问题类型。文档和问题均具有详细的模式定义，包括文档类型、标题、正文、时间戳等字段。评估问题分为不同难度级别，部分问题需要多跳推理。基准测试结果显示，BM25在大多数问题类型上优于密集检索方法。该数据集适用于问答和文本检索任务，特别适合评估企业环境中的RAG系统。