Marzipan/QA4PC

QA4PC数据集用于跨策略合规性检测，通过问答任务实现。训练集通过从ShARC数据集下载并运行特定脚本来创建。评估集分为蕴含任务和问答任务，分别包含不同的JSON文件。蕴含任务的数据包括政策、问题、场景和答案（是、否、可能），每个数据点还包含来自ShARC数据集的信息，如tree_id和source_url。问答任务的数据也包含在JSON文件中。此外，还提供了一个包含逻辑表达式的树结构文件，每个树包括一个政策、一组问题和逻辑表达式。

原始信息汇总

QA4PC 数据集

训练集

• 创建训练集或蕴含和问答任务，需下载 ShARC 数据集，网址为：https://sharc-data.github.io/data.html。
• 下载后，运行脚本 create_train_from_sharc.py，并提供 ShARC 训练集和开发集的路径。

评估集

蕴含数据

• 以下文件包含蕴含任务的数据，包括政策 + 问题、情景和答案（是、否、可能）。每个数据点还包含 ShARC 数据集的信息，如 tree_id 和 source_url。
  • dev_entailment_qa4pc.json
  • test_entailment_qa4pc.json

问答数据

• 以下文件包含问答任务的数据。

  • dev_sc_qa4pc.json
  • test_sc_qa4pc.json

• 以下文件包含开发集和测试集的表达树数据。每个树包括一个政策、一组问题和一个逻辑表达。

  • trees_dev_test_qa4pc.json