ruanchaves/snap

SNAP数据集包含803K个自动分割的Twitter标签，分割方法基于论文中描述的启发式方法。数据集主要用于结构预测任务，特别是单词分割任务。数据集的语言为英语，数据实例包括原始标签和其分割结果。数据集的创建过程涉及标签和分割字段的基本结构，以及如何处理特殊字符和命名实体识别注释。

原始信息汇总

数据集概述

数据集描述

• 名称: SNAP
• 语言: 英语
• 许可证: 未知
• 多语言性: 单语
• 任务类别: 结构预测
• 标签: 单词分割

数据集结构

数据实例

json { "index": 0, "hashtag": "BrandThunder", "segmentation": "Brand Thunder" }

数据字段

• index: 数值索引。
• hashtag: 原始标签。
• segmentation: 标签的金标准分割。

数据集创建

• 所有标签分割和标识符分割数据集具有相同的基字段：hashtag 和 segmentation 或 identifier 和 segmentation。
• hashtag 和 segmentation 或 identifier 和 segmentation 之间的唯一区别是空白字符。
• 在字母数字字符和任何特殊字符序列（如 _、:、~）之间总是存在空白。