Ritter PoS (Ritter Twitter part-of-speech tagging)

人们每天发推文超过 1 亿次，产生了一个嘈杂的、非正式的、但有时包含 140 个字符的信息的信息语料库，以前所未有的方式反映了时代精神。标准 NLP 工具的性能在推文上严重下降。本文通过重新构建 NLP 管道来解决这个问题，从词性标记开始，通过分块，到命名实体识别。与斯坦福 NER 系统相比，我们新颖的 T-NER 系统将 F1 分数提高了一倍。 T-NER 利用推文中固有的冗余来实现这一性能，使用 LabeledLDA 来利用 Freebase 词典作为远程监督的来源。 LabeledLDA 优于协同训练，在十种常见实体类型上将 F1 提高了 25%。

Over 100 million tweets are published daily, creating a noisy, informal text corpus composed of messages often limited to 140 characters, which reflects the spirit of the times in an unprecedented manner. The performance of standard NLP tools deteriorates sharply when deployed on tweet data. This paper addresses this issue by reconstructing the NLP pipeline, starting from part-of-speech tagging, moving through chunking, and culminating in named entity recognition (NER). Our novel T-NER system doubles the F1 score when compared against the Stanford NER system. T-NER achieves this performance by exploiting the intrinsic redundancy inherent in tweets, employing LabeledLDA to leverage the Freebase lexicon as a source of distant supervision. LabeledLDA outperforms co-training, boosting the F1 score by 25% across ten common entity types.

搜集汇总

背景与挑战

背景概述

Ritter PoS是一个针对Twitter推文进行词性标注的数据集，旨在解决标准NLP工具在非正式文本上性能下降的问题。它通过改进NLP管道（如T-NER系统）并利用LabeledLDA和Freebase词典进行远程监督，显著提升了实体识别的F1分数。该数据集由华盛顿大学于2011年发布，相关资源包括GitHub仓库和学术论文。