HIC-Bench

HIC-Bench是一个设计用于区分创造性任务中的智能幻觉和缺陷幻觉的基准数据集。它包括CDID.csv和CDKB.csv两个数据集，提供了跨不同领域的创新性问题及其对应的知识库详细描述。

HIC-Bench is a benchmark dataset designed to differentiate between intelligent hallucinations and defective hallucinations in creative tasks. It comprises two datasets: CDID.csv and CDKB.csv, which provide innovative questions across diverse domains and their corresponding detailed knowledge base descriptions.

原始信息汇总

HIC-Bench 数据集概述

基本信息

• 许可证: Apache-2.0
• 语言: 英语 (en)
• 标签: tex
• 数据规模: n<1K
• 任务类别: 问答 (question-answering)

数据集组成

• CDID.csv: 包含跨领域创新问题及其相关知识库的详细描述。
• CDKB.csv: 提供多个科学和技术原理的长文本描述，对应CDID数据集中的Knowledge Base列。

CDID 数据集字段说明

列名	描述
ID	每个问题的唯一标识符
Field	问题所属领域（如量子物理、人工智能等）
Question	创新问题的具体内容
Principle	解决方案所基于的科学或技术原理
Challenge	需要解决的实际问题或挑战
Knowledge Base	对原理的详细解释和背景知识
Source	知识来源（如维基百科、ChatGPT-4o等）

数据加载示例

python import pandas as pd

加载CDID数据集

dataset_path = CDID.xlsx # 替换为实际文件路径 cdid_df = pd.read_excel(dataset_path)

显示数据集前几行

print(cdid_df.head())

注意事项

• 当前CDID.csv数据集已临时与CDKB.csv数据集合并以便访问。

搜集汇总

数据集介绍

构建方式

HIC-Bench数据集通过整合多学科原理与现实问题构建创新性问题集合，其核心CDID数据集采用结构化设计，每个问题条目包含唯一标识符、所属领域、问题内容、科学原理、现实挑战等七个维度。数据集构建过程中特别注重知识来源的多样性，既涵盖量子物理、人工智能等前沿领域，又整合了维基百科和ChatGPT-4o等不同层次的知识来源，确保问题库具有跨学科深度与广度。

特点

该数据集最显著的特征在于对创造性任务中智能幻觉的分类评估能力，每个创新性问题配套十个评估答案。数据架构采用双模块设计，CDID数据集聚焦问题-原理的映射关系，而配套的CDKB数据集则提供详细的技术背景长文本，二者通过知识库字段形成有机衔接，为研究者提供从微观问题到宏观知识体系的完整分析链条。

使用方法

使用该数据集时建议采用Pandas库进行结构化处理，数据加载后可通过字段关联实现跨数据集分析。典型应用场景包括：通过ID字段匹配问题与知识库，利用Field字段进行领域分类研究，或结合Principle与Challenge字段开展创新解决方案的生成实验。数据集采用CSV标准格式存储，确保与主流机器学习框架的兼容性。

背景与挑战

背景概述

HIC-Bench作为一项专注于创造力任务中智能幻觉与缺陷幻觉区分的基准测试，由前沿研究团队于近期构建完成。该数据集通过整合跨学科科学原理与现实问题，构建了包含量子物理、人工智能等多领域的创新性问题集合，其核心价值在于为人工智能生成内容的可信度评估提供了标准化工具。数据集采用双模块架构，CDID模块聚焦问题-原理-挑战的关联性分析，CDKB模块则提供深度的技术背景知识，这种结构设计显著提升了模型在创造性任务中的可解释性评估能力。

当前挑战

该数据集面临的核心挑战体现在两个维度：在领域问题层面，如何精准界定创造性输出中的智能性幻觉与缺陷性幻觉的边界，这涉及对模型生成内容本质特征的深度解析；在构建技术层面，跨学科知识体系的有机整合要求研究人员具备多领域专业知识，同时确保知识来源的权威性与时效性。数据标注过程中对创新性问题与科学原理的精确匹配，以及长文本知识库的结构化处理，均为数据集构建带来显著技术难度。

常用场景

经典使用场景

在人工智能与认知科学交叉领域，HIC-Bench数据集通过其独特的创新性问题构建机制，为研究者提供了区分智能幻觉与缺陷幻觉的标准化测试平台。该数据集以量子物理、人工智能等前沿领域为背景，将科学原理与现实挑战相结合，特别适用于评估创造性问题解答系统的性能边界。其多领域交叉的问题设计模式，使得该数据集成为检验模型跨学科联想与逻辑推理能力的理想工具。

衍生相关工作

基于HIC-Bench的基准特性，学界已衍生出多项重要研究。包括《创造性AI的幻觉类型学》提出的双维度评估框架，以及《知识增强的创造性推理》中开发的动态检索增强生成系统。这些工作不仅深化了对AI创造性机制的理解，更催生了新的研究方向——如何在保持创新性的同时确保生成内容的科学严谨性。

数据集最近研究

最新研究方向

在人工智能创造力评估领域，HIC-Bench数据集为区分智能幻觉与缺陷幻觉提供了关键基准。当前研究聚焦于利用该数据集构建多模态评估框架，通过整合量子物理、人工智能等跨领域知识，深入分析生成式模型在创新性问题解决中的表现。近期工作探索了知识库增强的评估方法，将CDKB的长文本技术背景与CDID的创新问题相结合，以更精确地识别模型输出中的逻辑一致性缺陷。这一方向与当前大模型可解释性研究热点相呼应，为创造力任务的客观量化评估提供了新范式。