DefAn

DefAn数据集由沙特阿拉伯国王法赫德石油与矿业大学信息计算系创建，旨在评估大型语言模型(LLMs)在处理和生成文本时的幻觉现象。该数据集包含75,000个样本，覆盖八个知识领域，包括体育、澳大利亚人口普查、诺贝尔奖、娱乐、世界组织、QS排名、会议地点和数学。数据集分为公开和隐藏两部分，用于测试和评估LLM的性能。创建过程中，数据集通过从官方文档和网站收集信息，并经过多次改写以确保问题和答案的准确性和一致性。DefAn数据集的应用领域主要集中在提高LLMs的准确性和可靠性，特别是在需要高精度文本生成的场景，如新闻报道、学术写作和法律文档。