腾讯词向量（Tencent AI Lab Embedding Corpus for Chinese Words and Phrases）

这些语料库的最新版本提供了100维度和200维度的向量表示形式，也就是嵌入，适用于中文和英文。具体来说，有超过1200万个中文单词和短语以及650万个英语单词和短语，它们是在大规模高质量数据上进行预先培训的。这些向量捕获单词和短语的语义含义，可以广泛应用于许多下游任务 (例如，命名实体识别和文本分类) 以及进一步的研究中。

The latest version of this corpus provides 100-dimensional and 200-dimensional vector representations, namely embeddings, for both Chinese and English. Specifically, it contains over 12 million Chinese words and phrases as well as 6.5 million English words and phrases, and these embeddings are pre-trained on large-scale high-quality datasets. These vectors capture the semantic meanings of words and phrases, and can be widely applied to numerous downstream tasks (e.g., named entity recognition and text classification) as well as further research.

搜集汇总

背景与挑战

背景概述

腾讯词向量数据集由腾讯AI Lab于2018年发布，提供100维和200维的向量表示，覆盖超过1200万个中文和650万个英语单词及短语。这些向量基于大规模高质量数据预训练，能有效捕获语义信息，适用于命名实体识别、文本分类等多种自然语言处理下游任务。