OpenWebText-gpt2

kaggle2025-01-25 更新2025-02-23 收录

下载链接：

https://www.kaggle.com/datasets/windmaple/openwebtext-gpt2

下载链接

链接失效反馈

官方服务：

资源简介：

Useful for training GPT2

可用于训练GPT-2（GPT2）

创建时间：

2024-10-10

chanind/openwebtext-gpt2

--- dataset_info: features: - name: input_ids sequence: int32 splits: - name: train num_bytes: 36214082300.0 num_examples: 8832703 download_size: 17751371773 dataset_size: 3621

Hugging Face2024-07-06 更新30

haggingfacehyz/Skylion007-openwebtext-gpt2-1024

Skylion007/openwebtext是一个使用gpt2 tokenizer的大型文本数据集，包含了8835789个训练样本，数据集总大小为36226734900字节。该数据集适用于训练机器学习模型，特别是那些需要处理文本数据的模型，如语言模型。每个样本的上下文大小为1024。

Hugging Face2025-01-14 更新70

apollo-research/sae-Skylion007-openwebtext-tokenizer-gpt2

--- dataset_info: features: - name: input_ids sequence: int32 splits: - name: train num_bytes: 36178777200.0 num_examples: 8824092 download_size: 17731169875 dataset_size: 3617

Hugging Face2024-02-09 更新100

OpenWebText GPT2 DATASET(HF FORMAT)

8M+ samples from OpenWebText in HuggingFace

kaggle2025-07-24 更新90

apollo-research/Skylion007-openwebtext-tokenizer-gpt2

--- dataset_info: features: - name: input_ids sequence: int32 splits: - name: train num_bytes: 36178777200.0 num_examples: 8824092 download_size: 17731100331 dataset_size: 3617

Hugging Face2024-03-06 更新140