five

hitachi-nlp/JFLD

收藏
Hugging Face2024-06-06 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/hitachi-nlp/JFLD
下载链接
链接失效反馈
官方服务:
资源简介:
--- dataset_info: - config_name: D1 features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: prompt_serial_formula dtype: string - name: proof_serial_formula dtype: string splits: - name: train num_bytes: 123896106 num_examples: 30000 - name: validation num_bytes: 20663526 num_examples: 5000 - name: test num_bytes: 20503104 num_examples: 5000 download_size: 61220230 dataset_size: 165062736 - config_name: D1_minus features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: 'null' - name: negative_hypothesis_formula dtype: 'null' - name: negative_proofs sequence: 'null' - name: negative_original_tree_depth dtype: 'null' - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: 'null' - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: 'null' - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: prompt_serial_formula dtype: string - name: proof_serial_formula dtype: string splits: - name: train num_bytes: 26834964 num_examples: 30000 - name: validation num_bytes: 4479499 num_examples: 5000 - name: test num_bytes: 4488877 num_examples: 5000 download_size: 11137395 dataset_size: 35803340 - config_name: D3 features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: prompt_serial_formula dtype: string - name: proof_serial_formula dtype: string splits: - name: train num_bytes: 141361357 num_examples: 30000 - name: validation num_bytes: 23345637 num_examples: 5000 - name: test num_bytes: 23565531 num_examples: 5000 download_size: 69406113 dataset_size: 188272525 - config_name: D8 features: - name: version dtype: string - name: hypothesis dtype: string - name: hypothesis_formula dtype: string - name: facts dtype: string - name: facts_formula dtype: string - name: proofs sequence: string - name: proofs_formula sequence: string - name: negative_hypothesis dtype: string - name: negative_hypothesis_formula dtype: string - name: negative_proofs sequence: string - name: negative_original_tree_depth dtype: int64 - name: original_tree_depth dtype: int64 - name: depth dtype: int64 - name: num_formula_distractors dtype: int64 - name: num_translation_distractors dtype: int64 - name: num_all_distractors dtype: int64 - name: proof_label dtype: string - name: negative_proof_label dtype: string - name: world_assump_label dtype: string - name: negative_world_assump_label dtype: string - name: prompt_serial dtype: string - name: proof_serial dtype: string - name: prompt_serial_formula dtype: string - name: proof_serial_formula dtype: string splits: - name: train num_bytes: 179802109 num_examples: 30000 - name: validation num_bytes: 29874661 num_examples: 5000 - name: test num_bytes: 29894872 num_examples: 5000 download_size: 85804034 dataset_size: 239571642 configs: - config_name: D1 data_files: - split: train path: D1/train-* - split: validation path: D1/validation-* - split: test path: D1/test-* - config_name: D1_minus data_files: - split: train path: D1_minus/train-* - split: validation path: D1_minus/validation-* - split: test path: D1_minus/test-* - config_name: D3 data_files: - split: train path: D3/train-* - split: validation path: D3/validation-* - split: test path: D3/test-* - config_name: D8 data_files: - split: train path: D8/train-* - split: validation path: D8/validation-* - split: test path: D8/test-* --- # Dataset Card for "JFLD" See [here](https://github.com/hitachi-nlp/FLD-corpus.git) for the details of this corpus. For the whole of the project, see [our project page](https://github.com/hitachi-nlp/FLD/). [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

dataset_info: - 配置名称:D1 特征项: - 特征字段名:版本(version),数据类型:字符串 - 特征字段名:假设(hypothesis),数据类型:字符串 - 特征字段名:假设公式(hypothesis_formula),数据类型:字符串 - 特征字段名:事实(facts),数据类型:字符串 - 特征字段名:事实公式(facts_formula),数据类型:字符串 - 特征字段名:证明序列(proofs),数据类型:字符串序列 - 特征字段名:证明公式序列(proofs_formula),数据类型:字符串序列 - 特征字段名:负向假设(negative_hypothesis),数据类型:字符串 - 特征字段名:负向假设公式(negative_hypothesis_formula),数据类型:字符串 - 特征字段名:负向证明序列(negative_proofs),数据类型:字符串序列 - 特征字段名:负向原始树深度(negative_original_tree_depth),数据类型:64位整数 - 特征字段名:原始树深度(original_tree_depth),数据类型:64位整数 - 特征字段名:深度(depth),数据类型:64位整数 - 特征字段名:公式干扰项数量(num_formula_distractors),数据类型:64位整数 - 特征字段名:翻译干扰项数量(num_translation_distractors),数据类型:64位整数 - 特征字段名:总干扰项数量(num_all_distractors),数据类型:64位整数 - 特征字段名:证明标签(proof_label),数据类型:字符串 - 特征字段名:负向证明标签(negative_proof_label),数据类型:字符串 - 特征字段名:世界假设标签(world_assump_label),数据类型:字符串 - 特征字段名:负向世界假设标签(negative_world_assump_label),数据类型:字符串 - 特征字段名:提示序列(prompt_serial),数据类型:字符串 - 特征字段名:证明序列(proof_serial),数据类型:字符串 - 特征字段名:提示序列公式(prompt_serial_formula),数据类型:字符串 - 特征字段名:证明序列公式(proof_serial_formula),数据类型:字符串 数据集划分: - 划分名称:训练集(train),字节大小:123896106,样本数量:30000 - 划分名称:验证集(validation),字节大小:20663526,样本数量:5000 - 划分名称:测试集(test),字节大小:20503104,样本数量:5000 下载总大小:61220230,数据集总大小:165062736 - 配置名称:D1_minus 特征项: - 特征字段名:版本(version),数据类型:字符串 - 特征字段名:假设(hypothesis),数据类型:字符串 - 特征字段名:假设公式(hypothesis_formula),数据类型:字符串 - 特征字段名:事实(facts),数据类型:字符串 - 特征字段名:事实公式(facts_formula),数据类型:字符串 - 特征字段名:证明序列(proofs),数据类型:字符串序列 - 特征字段名:证明公式序列(proofs_formula),数据类型:字符串序列 - 特征字段名:负向假设(negative_hypothesis),数据类型:空值(null) - 特征字段名:负向假设公式(negative_hypothesis_formula),数据类型:空值(null) - 特征字段名:负向证明序列(negative_proofs),数据类型:空值(null) - 特征字段名:负向原始树深度(negative_original_tree_depth),数据类型:空值(null) - 特征字段名:原始树深度(original_tree_depth),数据类型:64位整数 - 特征字段名:深度(depth),数据类型:64位整数 - 特征字段名:公式干扰项数量(num_formula_distractors),数据类型:64位整数 - 特征字段名:翻译干扰项数量(num_translation_distractors),数据类型:64位整数 - 特征字段名:总干扰项数量(num_all_distractors),数据类型:64位整数 - 特征字段名:证明标签(proof_label),数据类型:字符串 - 特征字段名:负向证明标签(negative_proof_label),数据类型:空值(null) - 特征字段名:世界假设标签(world_assump_label),数据类型:字符串 - 特征字段名:负向世界假设标签(negative_world_assump_label),数据类型:空值(null) - 特征字段名:提示序列(prompt_serial),数据类型:字符串 - 特征字段名:证明序列(proof_serial),数据类型:字符串 - 特征字段名:提示序列公式(prompt_serial_formula),数据类型:字符串 - 特征字段名:证明序列公式(proof_serial_formula),数据类型:字符串 数据集划分: - 划分名称:训练集(train),字节大小:26834964,样本数量:30000 - 划分名称:验证集(validation),字节大小:4479499,样本数量:5000 - 划分名称:测试集(test),字节大小:4488877,样本数量:5000 下载总大小:11137395,数据集总大小:35803340 - 配置名称:D3 特征项: - 特征字段名:版本(version),数据类型:字符串 - 特征字段名:假设(hypothesis),数据类型:字符串 - 特征字段名:假设公式(hypothesis_formula),数据类型:字符串 - 特征字段名:事实(facts),数据类型:字符串 - 特征字段名:事实公式(facts_formula),数据类型:字符串 - 特征字段名:证明序列(proofs),数据类型:字符串序列 - 特征字段名:证明公式序列(proofs_formula),数据类型:字符串序列 - 特征字段名:负向假设(negative_hypothesis),数据类型:字符串 - 特征字段名:负向假设公式(negative_hypothesis_formula),数据类型:字符串 - 特征字段名:负向证明序列(negative_proofs),数据类型:字符串序列 - 特征字段名:负向原始树深度(negative_original_tree_depth),数据类型:64位整数 - 特征字段名:原始树深度(original_tree_depth),数据类型:64位整数 - 特征字段名:深度(depth),数据类型:64位整数 - 特征字段名:公式干扰项数量(num_formula_distractors),数据类型:64位整数 - 特征字段名:翻译干扰项数量(num_translation_distractors),数据类型:64位整数 - 特征字段名:总干扰项数量(num_all_distractors),数据类型:64位整数 - 特征字段名:证明标签(proof_label),数据类型:字符串 - 特征字段名:负向证明标签(negative_proof_label),数据类型:字符串 - 特征字段名:世界假设标签(world_assump_label),数据类型:字符串 - 特征字段名:负向世界假设标签(negative_world_assump_label),数据类型:字符串 - 特征字段名:提示序列(prompt_serial),数据类型:字符串 - 特征字段名:证明序列(proof_serial),数据类型:字符串 - 特征字段名:提示序列公式(prompt_serial_formula),数据类型:字符串 - 特征字段名:证明序列公式(proof_serial_formula),数据类型:字符串 数据集划分: - 划分名称:训练集(train),字节大小:141361357,样本数量:30000 - 划分名称:验证集(validation),字节大小:23345637,样本数量:5000 - 划分名称:测试集(test),字节大小:23565531,样本数量:5000 下载总大小:69406113,数据集总大小:188272525 - 配置名称:D8 特征项: - 特征字段名:版本(version),数据类型:字符串 - 特征字段名:假设(hypothesis),数据类型:字符串 - 特征字段名:假设公式(hypothesis_formula),数据类型:字符串 - 特征字段名:事实(facts),数据类型:字符串 - 特征字段名:事实公式(facts_formula),数据类型:字符串 - 特征字段名:证明序列(proofs),数据类型:字符串序列 - 特征字段名:证明公式序列(proofs_formula),数据类型:字符串序列 - 特征字段名:负向假设(negative_hypothesis),数据类型:字符串 - 特征字段名:负向假设公式(negative_hypothesis_formula),数据类型:字符串 - 特征字段名:负向证明序列(negative_proofs),数据类型:字符串序列 - 特征字段名:负向原始树深度(negative_original_tree_depth),数据类型:64位整数 - 特征字段名:原始树深度(original_tree_depth),数据类型:64位整数 - 特征字段名:深度(depth),数据类型:64位整数 - 特征字段名:公式干扰项数量(num_formula_distractors),数据类型:64位整数 - 特征字段名:翻译干扰项数量(num_translation_distractors),数据类型:64位整数 - 特征字段名:总干扰项数量(num_all_distractors),数据类型:64位整数 - 特征字段名:证明标签(proof_label),数据类型:字符串 - 特征字段名:负向证明标签(negative_proof_label),数据类型:字符串 - 特征字段名:世界假设标签(world_assump_label),数据类型:字符串 - 特征字段名:负向世界假设标签(negative_world_assump_label),数据类型:字符串 - 特征字段名:提示序列(prompt_serial),数据类型:字符串 - 特征字段名:证明序列(proof_serial),数据类型:字符串 - 特征字段名:提示序列公式(prompt_serial_formula),数据类型:字符串 - 特征字段名:证明序列公式(proof_serial_formula),数据类型:字符串 数据集划分: - 划分名称:训练集(train),字节大小:179802109,样本数量:30000 - 划分名称:验证集(validation),字节大小:29874661,样本数量:5000 - 划分名称:测试集(test),字节大小:29894872,样本数量:5000 下载总大小:85804034,数据集总大小:239571642 配置项: - 配置名称:D1,数据文件映射: - 训练划分对应路径:D1/train-* - 验证划分对应路径:D1/validation-* - 测试划分对应路径:D1/test-* - 配置名称:D1_minus,数据文件映射: - 训练划分对应路径:D1_minus/train-* - 验证划分对应路径:D1_minus/validation-* - 测试划分对应路径:D1_minus/test-* - 配置名称:D3,数据文件映射: - 训练划分对应路径:D3/train-* - 验证划分对应路径:D3/validation-* - 测试划分对应路径:D3/test-* - 配置名称:D8,数据文件映射: - 训练划分对应路径:D8/train-* - 验证划分对应路径:D8/validation-* - 测试划分对应路径:D8/test-* # 「JFLD」数据集卡片 如需了解该语料库的详细信息,请参阅[此处](https://github.com/hitachi-nlp/FLD-corpus.git)。 如需了解整个项目的完整内容,请访问[我们的项目页面](https://github.com/hitachi-nlp/FLD/)。 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)
提供机构:
hitachi-nlp
原始信息汇总

数据集概述

配置 D1

  • 特征:
    • 包含多个字段,如version, hypothesis, facts等,数据类型主要为string, int64
    • 部分字段如proofs, proofs_formulasequence类型。
  • 分割:
    • 训练集: 30000个样本,占用110389805字节。
    • 验证集: 5000个样本,占用18418643字节。
    • 测试集: 5000个样本,占用18268918字节。
  • 下载大小: 54469269字节。
  • 数据集大小: 147077366字节。

配置 D1_minus

  • 特征:
    • 与D1相似,但部分字段如negative_hypothesis, negative_proofs等标记为null
  • 分割:
    • 训练集: 30000个样本,占用22207071字节。
    • 验证集: 5000个样本,占用3710763字节。
    • 测试集: 5000个样本,占用3716373字节。
  • 下载大小: 9866623字节。
  • 数据集大小: 29634207字节。

配置 D3

  • 特征:
    • 与D1配置相似,所有字段均不为null
  • 分割:
    • 训练集: 30000个样本,占用125791205字节。
    • 验证集: 5000个样本,占用20773198字节。
    • 测试集: 5000个样本,占用20967767字节。
  • 下载大小: 61599009字节。
  • 数据集大小: 167532170字节。

配置 D8

  • 特征:
    • 与D1配置相似,所有字段均不为null
  • 分割:
    • 训练集: 30000个样本,占用159715461字节。
    • 验证集: 5000个样本,占用26543784字节。
    • 测试集: 5000个样本,占用26571118字节。
  • 下载大小: 75885766字节。
  • 数据集大小: 212830363字节。

数据集文件路径

  • D1: 分别存储在D1/train-*, D1/validation-*, D1/test-*
  • D1_minus: 分别存储在D1_minus/train-*, D1_minus/validation-*, D1_minus/test-*
  • D3: 分别存储在D3/train-*, D3/validation-*, D3/test-*
  • D8: 分别存储在D8/train-*, D8/validation-*, D8/test-*
二维码
社区交流群
二维码
科研交流群
商业服务