MISSCI

MISSCI数据集是一个用于逻辑谬误检测的基准数据集，它提供了一个正式的框架来模拟不实信息，其中不准确的主张由准确的和谬误的前提支持。该数据集用于训练和评估大型语言模型在识别和分类谬误前提及其类型的能力。数据集通过检索增强生成（RAG）方法生成，确保生成的合成数据与源科学文章保持一致，从而提高了模型在实际科学不实信息任务上的性能。

The MISSCI dataset is a benchmark dataset for logical fallacy detection. It offers a formal framework for modeling misinformation, in which inaccurate claims are supported by both accurate and fallacious premises. This dataset is designed for training and evaluating the ability of large language models (LLMs) to identify and classify fallacious premises and their corresponding types. Generated via the Retrieval-Augmented Generation (RAG) methodology, the synthetic data generated by the dataset remains consistent with the source scientific articles, thereby improving the performance of models on real-world scientific misinformation-related tasks.

原始信息汇总

MisSynth数据集概述

数据集基本信息

• 数据集名称: MisSynth
• 主要数据文件: GPT-5 (dataset/MisSynth.gpt-5.jsonl)

数据集生成流程

• 向量存储创建: 基于MISSCI开发集的30篇文章构建JSON向量存储
• 嵌入模型: NeuML/pubmedbert-base-embeddings
• 参数设置: 块大小512，块重叠64
• 合成谬误生成: 使用单类提示模板生成谬误前提和上下文
• 检索机制: 基于向量存储的轻量级RAG，支持元数据过滤
• 生成模型: OpenAI o4-mini
• 生成数量: 每个样本生成30个合成谬误

实验设置

• 硬件环境: M1 MacBook Pro (32 GB RAM)
• 基准模型: Phi-4 (Microsoft)
• 微调方法: LoRA微调
• 微调参数: 16层，批量大小1，迭代次数500

性能基准

模型	原始准确率	原始F1	微调准确率	微调F1	LoRA层数	参数量
LLaMA 2	0.577	0.464	-	-	-	70B
Phi-4 (8-bit)	0.667	0.550	0.762	0.690	16	15B

数据验证

• 基准测试: 在MISSCI开发集上进行
• 避免数据泄露: 使用开发集分割进行评估

搜集汇总

数据集介绍

构建方式

在健康信息误传检测领域，MISSCI数据集通过结构化建模构建了科学谬误识别框架。该数据集将误传论点形式化为三元组$(s_i, \bar{p}_i, f_i)$，其中$s_i$代表科学背景，$\bar{p}_i$表示谬误前提，$f_i$标注谬误类型。构建过程基于真实科学文献的引证关系，每个谬误论证都严格关联原始科研论文的上下文语境，确保数据来源的可追溯性与科学性。数据标注采用精细化的逻辑谬误分类体系，涵盖歧义谬误、因果简化等九大类别，为模型训练提供高质量的语义标注基础。

使用方法

该数据集主要服务于逻辑谬误分类任务的模型训练与评估。研究人员可通过指令微调方式将数据集转化为$(x_i, y_i)$训练对，其中输入$x_i$包含主张、准确前提和待分类谬误，输出$y_i$对应谬误类型标签。评估时采用准确率与宏平均F1分数作为核心指标，特别关注模型在少数谬误类别上的表现。数据集支持参数高效微调技术，通过LoRA等方法在有限计算资源下实现模型优化，其验证集固定使用96个原始开发集样本，确保评估过程的一致性与可比性。

背景与挑战

背景概述

在健康信息传播领域，科学谬误的识别已成为应对虚假信息的关键挑战。MISSCI数据集由Glockner等人于2024年提出，旨在系统化建模科学论证中的逻辑谬误，其核心研究问题聚焦于检测基于准确前提却推导出错误结论的推理缺陷。该数据集通过结构化三元组（科学语境、谬误前提、谬误类型）构建论证链条，为大型语言模型在科学推理任务中的性能评估提供了标准化基准，显著推动了健康 misinformation 检测领域的研究进展。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，科学谬误检测需克服语境依赖性与逻辑隐晦性，传统基于显式反证的方法难以应对证据被微妙扭曲的复杂场景；在构建过程中，高质量标注数据的稀缺性成为核心瓶颈，现有标注资源难以覆盖现实世界中多样化的谬误模式，而合成数据生成又易产生与真实分布脱节的模板化样本，导致模型泛化能力受限。

常用场景

解决学术问题

该数据集主要解决了科学误传检测中高质量标注数据稀缺的核心难题。通过构建包含准确前提与谬误前提的完整论证结构，为模型理解科学语境下的逻辑缺陷提供了系统框架。其创新性的三元组标注范式（科学语境、谬误前提、谬误类别）显著提升了模型对隐性推理错误的识别精度，为参数高效微调等轻量化训练方法提供了可靠基准。

实际应用

在公共卫生信息治理实践中，MISSCI支撑的检测系统可自动识别扭曲科学发现的误导性言论。例如在疫情信息验证场景中，系统能有效辨别选择性引用科研数据构成的排除谬误，或识别将相关关系曲解为因果关系的过度简化论证。这类应用显著提升了健康信息审核效率，为构建科学可信的公共信息环境提供了技术保障。

数据集最近研究

最新研究方向

在健康信息谬误检测领域，MISSCI数据集正推动合成数据生成与参数高效微调的前沿探索。研究聚焦于利用检索增强生成技术构建上下文敏感的合成谬误样本，通过低秩适应方法优化大语言模型的逻辑谬误分类能力。实验表明，经合成数据微调的轻量级模型在MISSCI基准测试中实现了超过35%的F1分数提升，显著缩小了与大型基础模型的性能差距。这一突破为资源受限场景下的科学谬误检测提供了新范式，同时暴露出模型在特定谬误类别上的泛化瓶颈，促使学界关注合成数据分布与真实场景的校准问题。

相关研究论文

• 通过

  基辅-莫希拉国立大学 · 2025年