ibm/BPC

BP^C数据集是一个新开发的、用于评估大型语言模型（LLMs）在业务过程中因果和过程推理能力的问答数据集。该数据集包含一系列特定领域的业务过程相关情境、关于这些情境的问题以及这些问题的真实答案。BP^C推理对于过程干预和过程改进至关重要。该基准可以用于测试任何目标LLM的性能，或训练LLM以提高其关于BP^C的推理能力。

The BP^C dataset is a newly developed set of process-aware Q&A that can be used to assess the ability of Large Language Models (LLMs) to reason about causal and process perspectives of business operations. The benchmark comprises a set of domain-specific BP^C related situations, a set of questions about these situations, and a set of ground truth answers to these questions. Reasoning on BP^C is of crucial importance for process interventions and process improvement. The benchmark could be used in one of two possible modalities: testing the performance of any target LLM and training an LLM to advance its capability to reason about BP^C.

原始信息汇总

BP^C: A Benchmark Dataset for Causal Business Process Reasoning

数据集描述

数据集概述

BP^C 数据集是一个新开发的、专注于业务流程因果推理的问答数据集。该数据集旨在评估大型语言模型（LLMs）在业务操作的因果和流程视角下的推理能力。数据集包含一系列特定领域的 BP^C 相关情境、关于这些情境的问题以及这些问题的真实答案。BP^C 推理对于流程干预和流程改进至关重要，该数据集可用于测试目标 LLM 的性能，或训练 LLM 以提升其对 BP^C 的推理能力。

支持的任务

• 问答
• 因果和流程推理
• LLM 调优和测试

语言

• 英语