midas/openkp

该数据集来源于微软的OpenKP项目，主要用于关键词抽取任务。数据集包含文档的唯一标识符、文档内容、文档的BIO标签、抽取式关键词和抽象式关键词。数据被分为训练集、测试集和验证集，分别包含134894、6614和6616个数据点。BIO标签用于标识文档中的关键词位置，B表示关键词的开始，I表示关键词的中间部分，O表示非关键词部分。抽取式关键词是文档中实际存在的关键词，而抽象式关键词是文档中未出现但相关的关键词。

This dataset is derived from Microsoft's OpenKP project, and is primarily intended for keyword extraction tasks. It includes the unique document identifier, document content, BIO tags of the document, extractive keywords, and abstractive keywords. The dataset is split into training, test, and validation sets, which contain 134894, 6614, and 6616 data points respectively. BIO tags are used to mark the positions of keywords in the document, where 'B' denotes the start of a keyword, 'I' represents the middle part of a keyword, and 'O' indicates non-keyword segments. Extractive keywords are keywords that actually exist in the document, while abstractive keywords are relevant keywords that do not appear in the original document.

原始信息汇总

数据集概述

数据集来源

• 原始来源：https://github.com/microsoft/OpenKP

数据集结构

数据字段

• id: 文档的唯一标识符。
• document: 文档中单词的空格分隔列表。
• doc_bio_tags: 文档中每个单词的BIO标签。B表示关键短语的开始，I表示关键短语内部，O表示关键短语外部。
• extractive_keyphrases: 当前存在的所有关键短语列表。
• abstractive_keyphrase: 当前不存在的所有关键短语列表。

数据分割

分割	数据点数量
训练	134894
测试	6614
验证	6616

数据集使用示例

• 使用datasets库加载整个数据集，并从训练、验证和测试分割中各抽取一个样本进行展示。

搜集汇总

背景与挑战

背景概述

midas/openkp是一个用于关键词提取和生成的大规模数据集，包含约148,000个数据点，分为训练、测试和验证集。它提供文档的词列表、BIO标注的关键词标签、现有关键词列表和缺失关键词列表，支持关键词提取（基于序列标注）和关键词生成（基于提取和抽象方法）两种自然语言处理任务。数据集源自Microsoft的OpenKP项目，适用于训练和评估关键词相关模型。