People’s Daily corpus

该数据集是从1992年至1998年的人民日报中提取的语料库，用于评估拼音转汉字转换模型。该测试集包含2,000个最大输入单元（MIUs），并且在此语料库上生成了预训练的词嵌入。作为一个标准的语料库，它被广泛用于设定拼音转汉字转换任务的基准。

This dataset is a corpus extracted from the People's Daily spanning from 1992 to 1998, and it is designed for evaluating Pinyin-to-Chinese character conversion models. This test set consists of 2,000 maximum input units (MIUs), and pre-trained word embeddings have been developed based on this corpus. As a standard corpus, it is widely utilized to set benchmarks for Pinyin-to-Chinese character conversion tasks.

搜集汇总

背景与挑战

背景概述

People’s Daily corpus是一个用于神经中文拼音输入法评估的中文语料库，包含中文文本和对应拼音数据，其中中文部分有5.04M MIUs和24.7M词，词汇量54.3K，拼音部分有24.7M词，词汇量41.1K。该数据集支持开放词汇学习，并提供训练集和目标词汇信息，适用于输入法系统的研究和开发。