zhengxuanzenwu/wikitext-2-split-128
收藏Hugging Face2022-10-13 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/zhengxuanzenwu/wikitext-2-split-128
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是基于WikiText-2数据集创建的，通过使用wordpiece tokenizer将较长的序列分割成最多包含128个token的序列。
提供机构：
zhengxuanzenwu
原始信息汇总
数据集概述
- 数据来源：WikiText-2数据集
- 处理方式：将原始数据集中的长序列分割成不超过128个令牌的序列
- 令牌化工具：wordpiece tokenizer
