chonkie-ai/chonkiepedia
收藏官方服务:
资源简介:
Chonkiepedia是一个用于微调模型的Chonkified维基百科文章数据集,包含大约100万篇英文文章。该数据集通过过滤、去除引用、归一化文本和使用Chonkies RecursiveChunker分块的方法制作而成。
Chonkiepedia is a dataset of Chonkified Wikipedia articles for fine-tuning models, containing about 1 million English articles. The dataset is created by filtering, removing references, normalizing text, and using Chonkies RecursiveChunker to chunk the articles.
提供机构:
chonkie-ai


