five

JINIAC/JFLD

收藏
Hugging Face2024-05-27 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/JINIAC/JFLD
下载链接
链接失效反馈
官方服务：
资源简介：
--- dataset_info: - config_name: D1 features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: instruction dtype: string - name: input dtype: string - name: response dtype: string splits: - name: train num_bytes: 108112082 num_examples: 20143 - name: validation num_bytes: 18040312 num_examples: 3374 - name: test num_bytes: 17777700 num_examples: 3323 download_size: 50969460 dataset_size: 143930094 - config_name: D1_minus features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: 'null' - name: negative_hypothesis_formula dtype: 'null' - name: negative_proofs sequence: 'null' - name: negative_original_tree_depth dtype: 'null' - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: 'null' - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: 'null' - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: instruction dtype: string - name: input dtype: string - name: response dtype: string splits: - name: train num_bytes: 23888799 num_examples: 20082 - name: validation num_bytes: 4007250 num_examples: 3349 - name: test num_bytes: 4032734 num_examples: 3374 download_size: 8783646 dataset_size: 31928783 - config_name: D3 features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: instruction dtype: string - name: input dtype: string - name: response dtype: string splits: - name: train num_bytes: 126666437 num_examples: 20166 - name: validation num_bytes: 20727548 num_examples: 3340 - name: test num_bytes: 20914914 num_examples: 3310 download_size: 59393588 dataset_size: 168308899 - config_name: D8 features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: instruction dtype: string - name: input dtype: string - name: response dtype: string splits: - name: train num_bytes: 167341010 num_examples: 20190 - name: validation num_bytes: 28183984 num_examples: 3409 - name: test num_bytes: 27682859 num_examples: 3352 download_size: 76744182 dataset_size: 223207853 configs: - config_name: D1 data_files: - split: train path: D1/train-* - split: validation path: D1/validation-* - split: test path: D1/test-* - config_name: D1_minus data_files: - split: train path: D1_minus/train-* - split: validation path: D1_minus/validation-* - split: test path: D1_minus/test-* - config_name: D3 data_files: - split: train path: D3/train-* - split: validation path: D3/validation-* - split: test path: D3/test-* - config_name: D8 data_files: - split: train path: D8/train-* - split: validation path: D8/validation-* - split: test path: D8/test-* license: apache-2.0 --- 以下のデータセットに、学習用のカラム(instruction, input, response)を追加して作成しました。 https://github.com/hitachi-nlp/FLD https://huggingface.co/datasets/hitachi-nlp/JFLD proof_serialが__UNKNOWN__となるデータは含まれません。 ## Citation ``` @inproceedings{morishita2024jfld, title = {JFLD: A Japanese Benchmark for Deductive Reasoning based on Formal Logic}, author = {Morishita, Terufumi and Yamaguchi, Atsuki and Morio, Gaku and Hikaru, Tomonari and Osamu Imaichi and Sogawa, Yasuhiro}, booktitle = {Proceedings of the Joint International Conference on Computational Linguistics, Language Resources and Evaluation}, year = {2024} } @inproceedings{morishita2023fld, title = {Learning Deductive Reasoning from Synthetic Corpus based on Formal Logic}, author = {Morishita, Terufumi and Morio, Gaku and Yamaguchi, Atsuki and Sogawa, Yasuhiro}, booktitle = {Proceedings of the 40th International Conference on Machine Learning}, year = {2023} } ```
提供机构：
JINIAC
原始信息汇总

数据集概述

数据集配置 D1

  • 特征:
    • 包含多个字段，如version, hypothesis, facts, proofs等，所有字段的dtype主要为string, int64。
    • 特别地，proofs和proofs_formula字段为sequence类型。
  • 分割:
    • 训练集: 20143个示例，总大小108112082字节。
    • 验证集: 3374个示例，总大小18040312字节。
    • 测试集: 3323个示例，总大小17777700字节。
  • 下载大小: 50969460字节。
  • 数据集大小: 143930094字节。

数据集配置 D1_minus

  • 特征:
    • 与D1配置类似，但部分字段如negative_hypothesis, negative_proof_label等设置为null。
  • 分割:
    • 训练集: 20082个示例，总大小23888799字节。
    • 验证集: 3349个示例，总大小4007250字节。
    • 测试集: 3374个示例，总大小4032734字节。
  • 下载大小: 8783646字节。
  • 数据集大小: 31928783字节。

数据集配置 D3

  • 特征:
    • 与D1配置类似，所有字段均不为null。
  • 分割:
    • 训练集: 20166个示例，总大小126666437字节。
    • 验证集: 3340个示例，总大小20727548字节。
    • 测试集: 3310个示例，总大小20914914字节。
  • 下载大小: 59393588字节。
  • 数据集大小: 168308899字节。

数据集配置 D8

  • 特征:
    • 与D1配置类似，所有字段均不为null。
  • 分割:
    • 训练集: 20190个示例，总大小167341010字节。
    • 验证集: 3409个示例，总大小28183984字节。
    • 测试集: 3352个示例，总大小27682859字节。
  • 下载大小: 76744182字节。
  • 数据集大小: 223207853字节。

数据集文件路径

  • D1: 分别有训练、验证和测试集，路径格式为D1/split-*。
  • D1_minus: 分别有训练、验证和测试集，路径格式为D1_minus/split-*。
  • D3: 分别有训练、验证和测试集，路径格式为D3/split-*。
  • D8: 分别有训练、验证和测试集，路径格式为D8/split-*。

许可证

  • 许可证: Apache-2.0
搜集汇总
数据集介绍
main_image_url
构建方式
在形式逻辑与自然语言推理的交汇领域，JFLD（Japanese Formal Logic Deduction）数据集应运而生。其构建基于hitachi-nlp团队先前提出的FLD（Formal Logic Deduction）框架，通过将英文逻辑推理语料迁移至日文语境，并精心设计多种配置（D1、D1_minus、D3、D8）来调控推理深度与干扰项复杂度。每个样本均包含假设（hypothesis）、事实（facts）、证明序列（proofs）及其形式化表达，同时引入否定假设（negative_hypothesis）与干扰项数量等元信息，形成结构严谨的推理对。数据划分为训练、验证与测试集，规模从约2万至3.4万样本不等，确保模型在不同难度层级下的泛化能力评估。
特点
该数据集的核心特色在于其层次化与对抗性设计。通过配置D1至D8，系统性地调整原始推理树的深度（depth）与干扰因子数量（num_formula_distractors、num_translation_distractors），模拟从简单到复杂的推理链条。此外，每个样本提供正反双面证明（proofs与negative_proofs）及其标签（proof_label），支持模型同时学习有效推理与识别谬误。特别地，D1_minus配置移除了否定假设相关字段，专用于聚焦正向推理任务。序列化的证明步骤与形式化公式并存，为神经符号方法提供了理想的训练素材。
使用方法
使用者可通过HuggingFace Datasets库便捷加载该数据集，依据config_name参数选择特定配置（如'D1'或'D3'）。每个样本的instruction、input与response字段已预置为提示-输入-输出格式，可直接用于序列到序列模型的微调。对于逻辑推理评估，建议利用proof_serial与proof_label字段对比模型输出与标准证明路径；而num_all_distractors字段则可用于分析干扰项对推理鲁棒性的影响。训练时，推荐采用交叉验证策略，利用多配置数据增强模型对推理深度的适应能力。
背景与挑战
背景概述
在自然语言推理与形式逻辑交叉的研究领域中，演绎推理能力被视为评估语言模型深层理解与逻辑泛化能力的关键试金石。JFLD（Japanese Formal Logic Deduction）数据集由日立研究团队于2024年提出，旨在填补日语环境下基于形式逻辑的演绎推理基准空白。该数据集以FLD（Formal Logic Deduction）为基础，通过引入日语翻译、干扰项构造及反事实假设等设计，系统性地评估模型在逻辑推导中的稳健性。JFLD的发布为多语言逻辑推理研究提供了重要参照，尤其推动了日语大语言模型在结构化推理任务上的评测与进步。
当前挑战
JFLD数据集所面临的挑战主要体现在两个层面。其一，在领域问题层面，演绎推理任务要求模型能够从给定事实与假设中构建出严谨的证明链，而现有语言模型常因缺乏形式逻辑的符号化理解而陷入谬误推理。其二，在构建过程中，数据集需处理多级干扰项（如公式干扰与翻译干扰）的平衡设计，确保样本难度渐进且避免数据泄露。此外，反事实假设的引入增加了标注复杂性，需严格确保负例证明的不可推导性，这对自动生成流程的验证机制提出了极高要求。
常用场景
经典使用场景
在自然语言推理与形式逻辑推理的交叉领域，JINIAC/JFLD数据集凭借其精心设计的逻辑结构，成为评估和提升语言模型演绎推理能力的标杆性资源。该数据集通过提供假设、事实、证明序列及反例等多元标注，使得研究者能够系统性地训练模型从自然语言表述中抽取出符号逻辑表达式，并完成多步推理链条的构建。其经典使用场景聚焦于基于形式逻辑的演绎推理任务，涵盖从简单的一步推导（D1）到复杂多步推导（D8）的渐进式难度设计，为探究语言模型在严格逻辑约束下的泛化能力提供了标准化测试平台。
解决学术问题
该数据集精准回应了当前大语言模型在复杂逻辑推理任务中表现脆弱的学术困境。传统自然语言推理基准多依赖统计相关性或浅层语义匹配，难以触及真正的逻辑演绎本质。JINIAC/JFLD通过引入形式化证明标签、反事实假设及干扰项机制，有效区分了模型的逻辑推理能力与表层模式记忆。其解决的核心问题包括：量化模型在否定假设处理、多步证明回溯及世界知识假设遵守方面的真实表现，并揭示了当前模型在深度推理任务中与人类逻辑思维之间的显著差距，为构建具备可解释性的神经符号系统奠定了数据基础。
衍生相关工作
该数据集催生了一系列富有影响力的后续研究，尤其在神经符号推理与可解释人工智能方向。Morishita等人基于JFLD框架提出了形式逻辑驱动的合成语料生成方法，揭示了大规模预训练模型在演绎任务上的能力边界。后续工作进一步探索了将逻辑证明树结构融入Transformer架构的注意力机制，或利用该数据集作为基准，对比不同提示策略与思维链技术对推理准确率的影响。此外，部分研究借鉴其干扰项设计理念，构建了面向中文、韩语等多语言版本的演绎推理数据集，推动形式逻辑推理评估从单一语言向多语言生态扩展。
以上内容由遇见数据集搜集并总结生成
关于我们
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
数发科官网www.sfktec.com
联系我们
youjian
selectdataset@iotsh.com.cn
商业合作
数据驱动未来，携手共赢发展
二维码
社区交流群
二维码
科研交流群
商业服务