中文大模型幻觉测试数据集HalluQA

HalluQA包含450个手工构造的问答题目，分为误导类问题和知识类问题两大类，可以用来评估中文大型语言模型及对话系统中的幻觉现象。

HalluQA consists of 450 handcrafted question-answering (QA) questions, which are divided into two categories: misleading questions and knowledge-intensive questions. It can be used to evaluate hallucination phenomena in Chinese large language models and dialogue systems.

搜集汇总

背景与挑战

背景概述

HalluQA是一个中文大语言模型幻觉测试数据集，包含450个精心设计的对抗性问题，覆盖多个领域并融入中国历史文化和社会现象，旨在评估模型生成答案的幻觉问题。数据集采用非幻觉率作为评估指标，使用GPT-4进行自动评估，并提供了多个模型的详细排行榜结果，帮助研究者分析和比较不同模型在幻觉问题上的表现。