hitachi-nlp/FLD.v2

Name: hitachi-nlp/FLD.v2
Creator: hitachi-nlp
Published: 2023-12-24 14:36:53
License: 暂无描述

Hugging Face2023-12-24 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/hitachi-nlp/FLD.v2

下载链接

链接失效反馈

官方服务：

资源简介：

--- dataset_info: - config_name: default features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: context dtype: string - name: context_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string splits: - name: train num_bytes: 103394163 num_examples: 30000 - name: validation num_bytes: 17205990 num_examples: 5000 - name: test num_bytes: 17215356 num_examples: 5000 download_size: 51122839 dataset_size: 137815509 - config_name: star features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: context dtype: string - name: context_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string splits: - name: train num_bytes: 129618848 num_examples: 30000 - name: validation num_bytes: 21529187 num_examples: 5000 - name: test num_bytes: 21731836 num_examples: 5000 download_size: 63147762 dataset_size: 172879871 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: test path: data/test-* - config_name: star data_files: - split: train path: star/train-* - split: validation path: star/validation-* - split: test path: star/test-* --- # Dataset Card for "FLD.v2" For the schema of the dataset, see [here](https://github.com/hitachi-nlp/FLD-corpus.git). For the whole of the project, see [our project page](https://github.com/hitachi-nlp/FLD/). [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

数据集信息： - 配置名称：default（默认配置）特征项： - 字段名：版本（version），数据类型：字符串（string） - 字段名：假设（hypothesis），数据类型：字符串（string） - 字段名：假设公式（hypothesis_formula），数据类型：字符串（string） - 字段名：上下文（context），数据类型：字符串（string） - 字段名：上下文公式（context_formula），数据类型：字符串（string） - 字段名：证明（proofs），数据类型：字符串序列（sequence<string>） - 字段名：证明公式（proofs_formula），数据类型：字符串序列（sequence<string>） - 字段名：反例假设（negative_hypothesis），数据类型：字符串（string） - 字段名：反例假设公式（negative_hypothesis_formula），数据类型：字符串（string） - 字段名：反例证明（negative_proofs），数据类型：字符串序列（sequence<string>） - 字段名：反例原始树深度（negative_original_tree_depth），数据类型：整数（int64） - 字段名：原始树深度（original_tree_depth），数据类型：整数（int64） - 字段名：深度（depth），数据类型：整数（int64） - 字段名：公式干扰项数量（num_formula_distractors），数据类型：整数（int64） - 字段名：翻译干扰项数量（num_translation_distractors），数据类型：整数（int64） - 字段名：总干扰项数量（num_all_distractors），数据类型：整数（int64） - 字段名：证明标签（proof_label），数据类型：字符串（string） - 字段名：反例证明标签（negative_proof_label），数据类型：字符串（string） - 字段名：世界假设标签（world_assump_label），数据类型：字符串（string） - 字段名：反例世界假设标签（negative_world_assump_label），数据类型：字符串（string） - 字段名：提示序列编号（prompt_serial），数据类型：字符串（string） - 字段名：证明序列编号（proof_serial），数据类型：字符串（string）数据集划分： - 划分名称：训练集（train），字节数：103394163，样本数：30000 - 划分名称：验证集（validation），字节数：17205990，样本数：5000 - 划分名称：测试集（test），字节数：17215356，样本数：5000 下载总大小：51122839，数据集总存储大小：137815509 - 配置名称：star 特征项： - 字段名：版本（version），数据类型：字符串（string） - 字段名：假设（hypothesis），数据类型：字符串（string） - 字段名：假设公式（hypothesis_formula），数据类型：字符串（string） - 字段名：上下文（context），数据类型：字符串（string） - 字段名：上下文公式（context_formula），数据类型：字符串（string） - 字段名：证明（proofs），数据类型：字符串序列（sequence<string>） - 字段名：证明公式（proofs_formula），数据类型：字符串序列（sequence<string>） - 字段名：反例假设（negative_hypothesis），数据类型：字符串（string） - 字段名：反例假设公式（negative_hypothesis_formula），数据类型：字符串（string） - 字段名：反例证明（negative_proofs），数据类型：字符串序列（sequence<string>） - 字段名：反例原始树深度（negative_original_tree_depth），数据类型：整数（int64） - 字段名：原始树深度（original_tree_depth），数据类型：整数（int64） - 字段名：深度（depth），数据类型：整数（int64） - 字段名：公式干扰项数量（num_formula_distractors），数据类型：整数（int64） - 字段名：翻译干扰项数量（num_translation_distractors），数据类型：整数（int64） - 字段名：总干扰项数量（num_all_distractors），数据类型：整数（int64） - 字段名：证明标签（proof_label），数据类型：字符串（string） - 字段名：反例证明标签（negative_proof_label），数据类型：字符串（string） - 字段名：世界假设标签（world_assump_label），数据类型：字符串（string） - 字段名：反例世界假设标签（negative_world_assump_label），数据类型：字符串（string） - 字段名：提示序列编号（prompt_serial），数据类型：字符串（string） - 字段名：证明序列编号（proof_serial），数据类型：字符串（string）数据集划分： - 划分名称：训练集（train），字节数：129618848，样本数：30000 - 划分名称：验证集（validation），字节数：21529187，样本数：5000 - 划分名称：测试集（test），字节数：21731836，样本数：5000 下载总大小：63147762，数据集总存储大小：172879871 配置项： - 配置名称：default（默认配置），数据文件： - 划分：训练集（train），路径：data/train-* - 划分：验证集（validation），路径：data/validation-* - 划分：测试集（test），路径：data/test-* - 配置名称：star，数据文件： - 划分：训练集（train），路径：star/train-* - 划分：验证集（validation），路径：star/validation-* - 划分：测试集（test），路径：star/test-* # 「FLD.v2」数据集卡片数据集 schema（模式）请参见[此处](https://github.com/hitachi-nlp/FLD-corpus.git)。完整项目信息请参见我们的项目页面[https://github.com/hitachi-nlp/FLD/](https://github.com/hitachi-nlp/FLD/)。 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

提供机构：

hitachi-nlp

原始信息汇总

数据集概述

配置信息

默认配置 (default)
- 特征 (Features):
  - version: 字符串
  - hypothesis: 字符串
  - hypothesis_formula: 字符串
  - context: 字符串
  - context_formula: 字符串
  - proofs: 字符串序列
  - proofs_formula: 字符串序列
  - negative_hypothesis: 字符串
  - negative_hypothesis_formula: 字符串
  - negative_proofs: 字符串序列
  - negative_original_tree_depth: 64位整数
  - original_tree_depth: 64位整数
  - depth: 64位整数
  - num_formula_distractors: 64位整数
  - num_translation_distractors: 64位整数
  - num_all_distractors: 64位整数
  - proof_label: 字符串
  - negative_proof_label: 字符串
  - world_assump_label: 字符串
  - negative_world_assump_label: 字符串
  - prompt_serial: 字符串
  - proof_serial: 字符串
- 数据分割 (Splits):
  - train: 30000个样本，103394163字节
  - validation: 5000个样本，17205990字节
  - test: 5000个样本，17215356字节
- 下载大小: 51122839字节
- 数据集大小: 137815509字节
星型配置 (star)
- 特征 (Features):
  - version: 字符串
  - hypothesis: 字符串
  - hypothesis_formula: 字符串
  - context: 字符串
  - context_formula: 字符串
  - proofs: 字符串序列
  - proofs_formula: 字符串序列
  - negative_hypothesis: 字符串
  - negative_hypothesis_formula: 字符串
  - negative_proofs: 字符串序列
  - negative_original_tree_depth: 64位整数
  - original_tree_depth: 64位整数
  - depth: 64位整数
  - num_formula_distractors: 64位整数
  - num_translation_distractors: 64位整数
  - num_all_distractors: 64位整数
  - proof_label: 字符串
  - negative_proof_label: 字符串
  - world_assump_label: 字符串
  - negative_world_assump_label: 字符串
  - prompt_serial: 字符串
  - proof_serial: 字符串
- 数据分割 (Splits):
  - train: 30000个样本，129618848字节
  - validation: 5000个样本，21529187字节
  - test: 5000个样本，21731836字节
- 下载大小: 63147762字节
- 数据集大小: 172879871字节

数据文件路径

默认配置 (default)
- train: data/train-*
- validation: data/validation-*
- test: data/test-*
星型配置 (star)
- train: star/train-*
- validation: star/validation-*
- test: star/test-*

搜集汇总

数据集介绍

构建方式

FLD.v2数据集由日立制作所（Hitachi）自然语言处理团队构建，旨在服务于形式逻辑推理领域的研究。该数据集基于逻辑公式与自然语言假设的对应关系，通过自动生成与人工校验相结合的方式精心构建。每条样本包含一个自然语言假设（hypothesis）及其对应的逻辑公式（hypothesis_formula），以及相关的上下文（context）与证明序列（proofs）。特别地，数据集引入了负样本机制，为每条假设生成对应的否定假设（negative_hypothesis）及其证明，并设计了多种干扰项（distractors），包括公式干扰项（num_formula_distractors）和翻译干扰项（num_translation_distractors），以增强模型的鲁棒性。数据集分为default和star两种配置，每种配置均包含30000条训练样本、5000条验证样本和5000条测试样本。

特点

FLD.v2数据集的核心特点在于其结构化的逻辑推理标注与多维度的干扰项设计。每条样本不仅提供了假设和上下文的自然语言与公式化表示，还包含了完整的证明路径（proofs）和否定证明路径（negative_proofs），以及对应的证明标签（proof_label）与世界假设标签（world_assump_label）。数据集的深度信息（depth）、树深度（original_tree_depth）等元数据为研究者提供了推理复杂度的量化指标。此外，通过引入公式干扰项和翻译干扰项，数据集能够有效评估模型在逻辑形式与自然语言转换中的辨析能力，使其成为训练和评估形式逻辑推理模型的理想资源。

使用方法

使用FLD.v2数据集时，可通过HuggingFace Datasets库直接加载，支持default和star两种配置。研究者可基于样本中的hypothesis、context、proofs等字段进行逻辑推理任务的训练与评估，例如利用proof_label进行二分类判断假设是否可从上下文中推导。数据集中的proof_serial和prompt_serial字段为序列化表示，便于直接输入到Transformer类模型中进行端到端学习。建议在训练时充分利用负样本和干扰项字段，以增强模型对逻辑谬误的识别能力。数据集的官方项目页面提供了详细的模式描述，可进一步指导自定义任务的设计与实现。

背景与挑战

背景概述

在自然语言处理领域，形式逻辑推理能力的评估一直是衡量模型理解与推理深度的关键指标。FLD.v2数据集由日立制作所（Hitachi）旗下的自然语言处理研究团队于近年发布，旨在系统性地评估语言模型在形式逻辑演绎任务上的表现。该数据集围绕命题逻辑和一阶逻辑，构建了包含假设、上下文、证明序列及多种干扰项（如公式干扰与翻译干扰）的结构化样本，覆盖训练、验证与测试三个子集，总计超过四万条数据。其核心研究问题在于检验模型能否在复杂逻辑环境中准确完成证明推导与标签预测，从而推动可解释人工智能与形式化推理的交叉发展。FLD.v2的提出为逻辑推理领域提供了标准化的评测基准，显著促进了相关模型的设计与优化。

当前挑战

FLD.v2所面对的挑战首先源于形式逻辑推理本身的复杂性——模型需在包含多种干扰项（如公式干扰项与翻译干扰项）的上下文中，准确识别有效证明并排除误导性信息，这对模型的语义理解与符号操作能力提出了极高要求。其次，在数据集构建过程中，如何确保逻辑公式与自然语言表述之间的一致性与可转换性，同时平衡正反例样本的分布以避免偏差，构成了技术上的难点。此外，数据集中引入了不同深度（depth）的证明树结构，要求模型具备对多层次推理链的跟踪能力，进一步加剧了评测的难度。这些挑战共同揭示了当前语言模型在形式化推理任务中的局限性，也为后续研究指明了优化方向。

常用场景

经典使用场景

FLD.v2数据集作为一项精心构建的形式化语言推理资源，其核心应用场景在于推动自然语言理解中逻辑推理能力的评估与提升。该数据集以命题逻辑和谓词逻辑为基础，提供了包含假设、上下文、证明序列及干扰项在内的结构化样本，尤其适合用于训练和测试模型在复杂逻辑链条下的推理正确性。研究者常利用其default与star两种配置，分别探索基础推理与带干扰项的鲁棒推理任务，从而系统性地衡量语言模型在形式化推理上的表现边界。

衍生相关工作

围绕FLD.v2数据集，学术界已衍生出一系列富有启发性的经典工作。例如，有研究基于该数据集提出了面向逻辑推理的对比学习框架，通过正负样本的精心构造来增强模型的推理判别力。另一些工作则探索了将形式化语言与神经网络进行端到端融合的路径，利用该数据集的证明序列信息训练模型生成可解释的推理链。此外，该数据集也被用于评估不同预训练语言模型在逻辑泛化上的差距，催生了关于推理蒸馏与跨任务迁移的深入讨论。

数据集最近研究