BenchIE

该数据集支持对英语、中文和德语的OIE系统进行全面评估，使用二进制的OIE注释。此外，数据集中的黄金元组根据事实同义词集进行分组，评估时采用基于事实的匹配方法。在英语语料库中，包含了300个句子和1,350个事实同义词集。该数据集的任务是开放信息抽取。This dataset enables comprehensive evaluation of Open Information Extraction (OIE) systems for English, Chinese and German, using binary OIE annotations. Furthermore, the golden tuples in the dataset are grouped according to factual synonym sets, and a fact-based matching methodology is utilized during the evaluation process. The English corpus component of this dataset consists of 300 sentences and 1,350 factual synonym sets. The core task of this dataset is Open Information Extraction.

搜集汇总

背景与挑战

背景概述

BenchIE是一个开放信息抽取（OIE）评估基准测试框架，用于基于事实测量OIE系统的性能（如精确度、召回率和F1分数）。它包含多语言黄金标注和系统提取数据，支持多种评估维度，并提供了完整的代码实现和数据格式规范。