FLD

该数据集包含在ICML论文中介绍的英语语料库，版本为2.0，详细信息在论文的附录H中。数据集包括一系列事实、假设、证明序列和答案标记（证明、反驳或未知），用于训练或评估语言模型。

This dataset comprises an English corpus introduced in an ICML paper, version 2.0, with detailed information provided in Appendix H of the paper. The dataset includes a series of facts, hypotheses, proof sequences, and answer labels (proof, refutation, or unknown), designed for training or evaluating language models.

原始信息汇总

数据集概述

数据集名称

• FLD Corpus

可用语料库

• FLD (FLD.3)
• FLD★ (FLD.4)
• JFLD (Japanese FLD)

数据集版本

• 版本 2.0

数据集结构

• 核心字段

  • context (或 facts)：一组事实。
  • hypothesis：一个假设。
  • proofs：黄金证明。每个证明由一系列逻辑步骤组成，这些步骤从事实引导到假设。
  • world_assump_label：答案，可以是 PROVED, DISPROVED, 或 UNKNOWN。

• 预处理字段

  • prompt_serial：事实和假设的序列化表示。
  • proof_serial：证明和答案的序列化表示。

使用方法

• 安装 datasets 库： console pip install datasets

• 加载数据集： python from datasets import load_dataset FLD = load_dataset(hitachi-nlp/FLD.v2, name=default) FLD_star = load_dataset(hitachi-nlp/FLD.v2, name=star)

数据集示例概念

• 给定一组事实和一个假设，模型必须生成一个证明序列并确定答案标记（证明、反驳或未知）。

数据集训练或评估方法

• 使用 prompt_serial 作为输入，proof_serial 作为输出，使语言模型生成证明和答案。
• 使用 prompt_serial 作为输入，world_assump_label 作为输出，使语言模型仅生成答案。

搜集汇总

数据集介绍

构建方式

FLD数据集的构建基于形式逻辑推理任务，旨在提升大语言模型（LLMs）的推理能力。该数据集通过精心设计的逻辑推理示例，结合事实集和假设，生成证明序列并确定答案标记（证明、反驳或未知）。构建过程中，研究人员采用了多版本迭代策略，包括FLD、FLD★以及最新的FLDx2，每个版本均在逻辑推理的复杂性和多样性上进行了优化。数据集的构建还结合了学术论文的发布，确保了其科学性和前沿性。

特点

FLD数据集以其多样化的逻辑推理任务和高质量的数据标注著称。数据集的核心字段包括`context`（或`facts`）、`hypothesis`、`proofs`和`world_assump_label`，分别表示事实集、假设、证明序列和答案标记。FLDx2作为最新版本，进一步增强了推理能力的多样性，其`proof_serial`字段不仅包含证明序列，还通过数据增强技术引入了部分仅包含答案的示例。这种设计使得数据集在训练大语言模型时更具灵活性和挑战性。

使用方法

使用FLD数据集时，首先需安装`datasets`库，随后通过`load_dataset`函数加载所需版本的数据集。例如，加载FLDx2数据集可通过`load_dataset('hitachi-nlp/FLDx2', name='default')`实现。在模型训练中，`prompt_serial`字段用于输入提示，表示事实和假设的序列化表示；`proof_serial`字段则作为输出目标，表示证明序列和答案的序列化表示。通过这种方式，用户能够高效地利用FLD数据集进行逻辑推理任务的模型训练与评估。

背景与挑战

背景概述

FLD数据集是由日立公司（Hitachi）旗下的自然语言处理团队开发的一个专注于形式逻辑推理的语料库。该数据集首次发布于2023年，并伴随着ICML 2023的论文发布。其核心研究问题在于通过提供形式逻辑推理的示例，提升大型语言模型（LLMs）在逻辑推理任务中的表现。FLD数据集通过提供事实、假设和证明序列，帮助模型学习如何从给定的事实中推导出假设的正确性。该数据集在逻辑推理领域具有重要影响力，尤其是在增强模型的推理能力和逻辑一致性方面。

当前挑战

FLD数据集在解决逻辑推理问题时面临的主要挑战包括如何确保模型能够准确理解并处理复杂的逻辑结构，以及如何在多样化的推理任务中保持一致性。构建过程中，研究人员需要设计高质量的逻辑推理示例，确保每个示例的证明序列既准确又具有代表性。此外，数据集的构建还面临如何平衡示例的多样性与复杂性的挑战，以确保模型能够在不同场景下进行有效的推理。另一个挑战是如何在数据集中引入足够的变体，以增强模型的泛化能力，同时避免引入噪声或错误信息。

常用场景

经典使用场景

FLD数据集在自然语言处理领域中被广泛应用于逻辑推理任务的研究与开发。通过提供一系列事实和假设，该数据集要求模型生成证明序列并确定答案标记（证明、反驳或未知）。这种结构化的逻辑推理任务为研究者提供了一个标准化的测试平台，用于评估和提升大语言模型（LLMs）在形式逻辑推理方面的能力。

解决学术问题

FLD数据集解决了大语言模型在逻辑推理任务中的关键问题，特别是在形式逻辑推理的准确性和一致性方面。通过提供多样化的逻辑推理示例，该数据集帮助研究者深入理解模型在处理复杂逻辑关系时的表现，并推动了相关算法的改进。其发布的多版本语料库（如FLDx2）进一步提升了模型的推理能力，为逻辑推理领域的研究提供了重要的数据支持。

衍生相关工作

FLD数据集的发布催生了一系列相关研究工作，特别是在逻辑推理和自然语言处理的交叉领域。例如，基于FLD数据集的NeurIPS 2024论文提出了FLDx2语料库，进一步提升了模型的推理能力。此外，ICML 2023和LREC-COLING 2024的论文分别探讨了FLD和JFLD语料库的应用，推动了逻辑推理任务在不同语言和文化背景下的研究进展。这些工作为逻辑推理领域的发展提供了重要的理论和实践基础。