wikipedia-20220301-en-paragraphs

该数据集结合了wikipedia20220301.en和bookcorpusopen，并将数据分割成较小的块，每个块大约820个字符。数据集已经过标准化处理，包括转换为小写、去除重音和非英文字符，并且移除了少于200字符或多于1000字符的项。数据集未经过洗牌，但提供了洗牌版本的下载链接。