EmmaStrong/Sky-NER

Sky-NER是一个通过GPT生成的中文命名实体识别数据集。该数据集基于SkyPile-Corpus，并遵循UniversalNER的方法构建。数据集通过提示gpt-3.5-turbo-0125收集，并通过负采样进行增强。数据收集的提示示例为：给定一段文本，任务是抽取所有实体并识别它们的实体类别，输出为JSON格式。

Sky-NER is a GPT-generated dataset for Chinese named entity recognition, constructed following the UniversalNER method, based on the SkyPile-Corpus, and collected using gpt-3.5-turbo-0125 with negative sampling augmentation. The dataset collection instruction requires extracting all entities and identifying their categories from given text, with output in JSON format. The dataset size ranges between 10K and 100K, and it is licensed under CC BY-NC 4.0.

原始信息汇总

Sky-NER 数据集概述

基本信息

• 许可证: Attribution-NonCommercial 4.0 International (CC BY-NC 4.0)
• 语言: 中文
• 数据规模: 10K<n<100K

数据集描述

• 数据来源: 由GPT生成的数据，基于SkyPile-Corpus构建。
• 生成方法: 遵循UniversalNER的方法，通过gpt-3.5-turbo-0125进行提示生成，并进行负采样增强。
• 数据收集提示:
  • 任务: 给定一段文本，抽取所有实体并识别它们的实体类别。
  • 输出格式: JSON格式，例如：[{"实体1": "实体1的类别"}, ...]。

详细信息

• 数据预处理: 详细步骤请参考论文和GitHub仓库。