OSCAR
收藏OpenXLab2026-04-18 收录
官方服务:
资源简介:
OSCAR 或 Open Super-large Crawled ALMAnaCH 语料库是使用 goclassy 架构对 Common Crawl 语料库进行语言分类和过滤得到的一个庞大的多语言语料库。用于训练 BART 等多语言模型的数据集包含 138 GB 的文本。
提供机构:
OpenDataLab创建时间:
2022-08-10

OSCAR 或 Open Super-large Crawled ALMAnaCH 语料库是使用 goclassy 架构对 Common Crawl 语料库进行语言分类和过滤得到的一个庞大的多语言语料库。用于训练 BART 等多语言模型的数据集包含 138 GB 的文本。