levuloihust/vien-corpus-for-tokenizer
收藏Hugging Face2023-11-05 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/levuloihust/vien-corpus-for-tokenizer
下载链接
链接失效反馈官方服务：
资源简介：
文件`vien-corpus.txt`包含7957186行混合的越南语和英语文本，用于训练越南语和英语的分词器。数据集的创建过程包括从Wikipedia获取英语文本，以及从新闻网站爬取和Oscar数据集中获取越南语文本。
The file `vien-corpus.txt` contains 7,957,186 lines of mixed Vietnamese and English text, which is designed for training tokenizers for both Vietnamese and English. The construction of this dataset includes acquiring English text from Wikipedia, as well as collecting Vietnamese text through news website crawling and from the Oscar dataset.
提供机构：
levuloihust
原始信息汇总
数据集描述
vien-corpus.txt文件包含7957186行，混合了越南语和英语文本。该文件被用作训练越南语和英语分词器的语料库。
数据集详情
语料库是如何创建的？
- 英语文本来自维基百科
- 越南语文本来自两个来源：
- 从新闻网站爬取的数据
- Oscar数据集
