jsanzolac/ga_wikipedia_cl100k
收藏官方服务：
资源简介：
这是一个基于英语维基百科（源数据集为jsanzolac/ga_wikipedia，转储日期2023-11-01）的预分词数据集，使用OpenAI的tiktoken.cl100k_base分词器进行处理。数据格式为每行代表一篇文章，包含以空格分隔的token ID。该数据集适用于自然语言处理任务，如模型预训练或分词分析。
English Wikipedia (jsanzolac/ga_wikipedia, dump 2023-11-01) pre-tokenized with OpenAI tiktoken.cl100k_base. One article per line, space-separated token ids.
提供机构：
jsanzolac
