通用新词发现原子能力

基于信息熵Entropy、内部凝聚度PMI、闭包子集、停用词和大规模中文词林去噪的一个通用的新词发现能力，解决各个业务场景中面临的未登录词语义缺失带来的模型误差，帮助模型更高效的落地应用。

A general new word discovery capability based on Entropy, internal cohesion measured by Pointwise Mutual Information (PMI), closed subsets, stop words, and large-scale Chinese Cilin for denoising resolves model errors caused by semantic deficiency of out-of-vocabulary (OOV) words across various business scenarios, and enables more efficient deployment and real-world application of models.

搜集汇总

背景与挑战

背景概述

该数据集提供基于信息熵和内部凝聚度等技术的通用新词发现能力，通过识别未登录词解决模型语义缺失问题，从而提升模型在实际应用中的效果。