acul3/KoPI-NLLB
收藏Hugging Face2022-09-06 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/acul3/KoPI-NLLB
下载链接
链接失效反馈官方服务：
资源简介：
KopI(Korpus Perayapan Indonesia)-NLLB数据集是从NLLB数据集中提取的印度尼西亚语系语言数据集，包括aceh、bali、banjar、indonesia、jawa、minang和sunda等语言。每种语言集还使用了精确哈希（md5）去重技术和Minhash LSH近重复检测技术进行了过滤。
提供机构：
acul3
原始信息汇总
数据集概述
名称： KopI(Korpus Perayapan Indonesia)-NLLB
语言： 印尼家族语言，包括Aceh, Bali, Banjar, Indonesia, Jawa, Minang, Sunda。
来源： 提取自NLLB数据集，原始数据集链接为allenai/nllb。
处理技术：
- 使用了精确哈希（MD5）去重技术。
- 应用了MinHash LSH近似去重技术。
