tasksource/folio

--- license: cc task_categories: - text-classification language: - en task_ids: - natural-language-inference - multi-input-text-classification --- https://github.com/Yale-LILY/FOLIO ``` @article{han2022folio, title={FOLIO: Natural Language Reasoning with First-Order Logic}, author = {Han, Simeng and Schoelkopf, Hailey and Zhao, Yilun and Qi, Zhenting and Riddell, Martin and Benson, Luke and Sun, Lucy and Zubova, Ekaterina and Qiao, Yujie and Burtell, Matthew and Peng, David and Fan, Jonathan and Liu, Yixin and Wong, Brian and Sailor, Malcolm and Ni, Ansong and Nan, Linyong and Kasai, Jungo and Yu, Tao and Zhang, Rui and Joty, Shafiq and Fabbri, Alexander R. and Kryscinski, Wojciech and Lin, Xi Victoria and Xiong, Caiming and Radev, Dragomir}, journal={arXiv preprint arXiv:2209.00840}, url = {https://arxiv.org/abs/2209.00840}, year={2022} } ```--- 许可证：CC（知识共享协议，Creative Commons） 任务类别： - 文本分类（text-classification） 语言： - 英语（en） 任务子项： - 自然语言推理（natural-language-inference） - 多输入文本分类（multi-input-text-classification） --- https://github.com/Yale-LILY/FOLIO @article{han2022folio, title={FOLIO：基于一阶逻辑的自然语言推理}, author = {Han, Simeng and Schoelkopf, Hailey and Zhao, Yilun and Qi, Zhenting and Riddell, Martin and Benson, Luke and Sun, Lucy and Zubova, Ekaterina and Qiao, Yujie and Burtell, Matthew and Peng, David and Fan, Jonathan and Liu, Yixin and Wong, Brian and Sailor, Malcolm and Ni, Ansong and Nan, Linyong and Kasai, Jungo and Yu, Tao and Zhang, Rui and Joty, Shafiq and Fabbri, Alexander R. and Kryscinski, Wojciech and Lin, Xi Victoria and Xiong, Caiming and Radev, Dragomir}, journal={arXiv预印本 arXiv:2209.00840}, url = {https://arxiv.org/abs/2209.00840}, year={2022} }

原始信息汇总

数据集概述

许可

• 许可证: cc

任务类别

• 文本分类

语言

• 英语

任务ID

• 自然语言推理
• 多输入文本分类

搜集汇总

数据集介绍

构建方式

FOLIO数据集由耶鲁大学LILY实验室构建，旨在推动自然语言推理与一阶逻辑的结合。该数据集通过精心设计，将自然语言陈述转化为一阶逻辑表达式，每个样本包含一个前提集合和一个假设，要求模型判断前提是否蕴含假设。构建过程依赖于逻辑专家对文本进行形式化标注，确保逻辑结构严谨且覆盖多种推理类型，如量化、否定和条件关系。数据来源包括人工编写的逻辑谜题和现实场景，以增强多样性和挑战性。最终，FOLIO提供了约1,400个样本，每个样本均经过多轮验证以消除歧义，为评估模型的形式化推理能力奠定了坚实基础。

特点

FOLIO数据集的核心特点在于其将自然语言推理与一阶逻辑形式化相结合，填补了传统NLI数据集在逻辑严谨性上的空白。每个样本均以逻辑公式形式呈现，支持对推理链的细粒度分析，从而能够测试模型在量化、否定和条件推理等复杂逻辑操作上的表现。数据集涵盖多种逻辑结构，如存在量词和全称量词的混合使用，且难度分布广泛，从简单直接推理到需要多步演绎的复杂任务。此外，FOLIO强调语言与逻辑的映射关系，促使模型超越表面语义理解，深入掌握形式化推理机制。

使用方法

FOLIO数据集主要用于文本分类任务，具体为自然语言推理中的多输入分类。用户可通过HuggingFace平台直接加载数据，使用如`load_dataset('tasksource/folio')`命令获取训练、验证和测试集。每个样本包含`premises`（前提列表）、`hypothesis`（假设）和`label`（蕴含、矛盾或中立）字段。模型需基于前提逻辑推断假设的真值，评估指标通常采用准确率。为充分利用其逻辑特性，建议结合一阶逻辑解析器或神经符号方法进行训练，以提升对形式化推理的泛化能力。数据许可为CC协议，适合学术研究使用。

背景与挑战

背景概述

在自然语言推理（NLI）领域，基于一阶逻辑的严谨推理能力是衡量语言模型逻辑理解深度的关键标尺。由耶鲁大学LILY实验室主导，Simeng Han、Hailey Schoelkopf等众多研究者共同创建的FOLIO数据集（2022年），旨在突破传统NLI任务中依赖统计相关性而非形式逻辑的局限。该数据集以英文文本为媒介，要求模型在给定前提与假设之间判断蕴含、矛盾或中立关系，其核心创新在于所有标注均严格基于一阶逻辑形式化规则，而非众包工人的直觉。FOLIO的发布为逻辑驱动的NLI研究提供了高质验证基准，推动了语言模型从浅层模式匹配向符号化推理能力的演进。

当前挑战

FOLIO数据集所解决的领域挑战在于，现有NLI基准（如SNLI、MNLI）常因标注噪声和语义模糊性，难以区分模型是否真正掌握了演绎推理逻辑，而FOLIO通过一阶逻辑形式化标注确保了推理的绝对严谨性，迫使模型学习规则化思维。构建过程中，团队面临双重挑战：一是将自然语言句子转化为无歧义的一阶逻辑表达式需领域专家深度介入，人工成本高昂且易出错；二是需设计覆盖多种逻辑结构（如量化、否定、嵌套）的样本，避免数据集偏向简单模式，这要求系统化的逻辑模板与多样性句子生成策略，最终在数据规模与逻辑复杂度间取得平衡。

常用场景

经典使用场景

FOLIO数据集专为自然语言推理（NLI）与多输入文本分类任务而设计，其核心创新在于将一阶逻辑（First-Order Logic）形式化推理融入自然语言理解。该数据集包含约1,400个精心构造的样本，每个样本由自然语言前提和假设构成，并标注了基于逻辑的蕴含、矛盾或中性关系。经典使用场景包括训练和评估语言模型在复杂逻辑推理上的能力，例如处理量化、否定和嵌套条件句等结构，从而推动模型超越表面语义匹配，迈向符号化、可解释的推理范式。

解决学术问题

FOLIO旨在解决当前大语言模型在形式逻辑推理上的根本性短板——模型常依赖统计捷径而非严谨推导。该数据集通过提供严格基于一阶逻辑的标注，揭示了模型在理解量词辖域、多步推导和反事实推理时的系统性失败。其意义在于为学术界提供了一个可量化的基准，用于诊断神经符号系统的融合进展，并促使研究者重新审视注意力机制与逻辑演算之间的鸿沟。影响深远的是，它激励了逻辑增强型架构（如Neuro-Symbolic NLI）的涌现，推动了可解释人工智能在语言理解中的落地。

衍生相关工作

FOLIO的提出催生了一系列相关经典工作：基于其逻辑形式，研究者开发了逻辑增强型预训练方法（如Logic-LM），通过注入一阶逻辑规则提升模型推理鲁棒性；同时，FOLIO被用作评估工具，验证了Chain-of-Thought提示与神经符号网络在复杂推理中的互补性。此外，该数据集启发了逻辑约束下的数据增强策略（如FOLIO-Synth），以及跨领域逻辑推理迁移学习框架，进一步巩固了形式化逻辑作为自然语言理解基石的地位。