midas/openkp

该数据集来源于微软的OpenKP项目，主要用于关键词抽取任务。数据集包含文档的唯一标识符、文档内容、文档的BIO标签、抽取式关键词和抽象式关键词。数据被分为训练集、测试集和验证集，分别包含134894、6614和6616个数据点。BIO标签用于标识文档中的关键词位置，B表示关键词的开始，I表示关键词的中间部分，O表示非关键词部分。抽取式关键词是文档中实际存在的关键词，而抽象式关键词是文档中未出现但相关的关键词。

原始信息汇总

数据集概述

数据集来源

• 原始来源：https://github.com/microsoft/OpenKP

数据集结构

数据字段

• id: 文档的唯一标识符。
• document: 文档中单词的空格分隔列表。
• doc_bio_tags: 文档中每个单词的BIO标签。B表示关键短语的开始，I表示关键短语内部，O表示关键短语外部。
• extractive_keyphrases: 当前存在的所有关键短语列表。
• abstractive_keyphrase: 当前不存在的所有关键短语列表。

数据分割

分割	数据点数量
训练	134894
测试	6614
验证	6616

数据集使用示例

• 使用datasets库加载整个数据集，并从训练、验证和测试分割中各抽取一个样本进行展示。