Zyda是由Zyphra创建的一个包含1.3万亿tokens的大型语言模型预训练数据集。该数据集整合了多个高质量的开源数据集，通过严格的过滤和去重过程，确保数据质量。Zyda不仅在性能上超越了其他开源数据集，如Dolma和RefinedWeb，还显著提高了Pythia系列模型的表现。数据集的创建过程包括综合多个数据源、应用先进的过滤和去重技术。Zyda的应用领域广泛，主要用于提升大型语言模型的训练

arXiv2024-06-04 更新1780

Clean Cyclistic Data

共享单车

数据预处理

Clean Cyclistic Data (June 2020 through May 2021)

kaggle2021-09-24 更新90

skrishna/coin_flip_4_transformed

随机序列建模

概率实验模拟

--- dataset_info: features: - name: targets dtype: string - name: targets_vec sequence: int64 - name: inputs dtype: string - name: text dtype: string - name: label dtyp

Hugging Face2024-03-03 更新50

Data extracted from GitHub repositories (training and test data-sets)

GitHub项目

数据预处理

This dataset contains the SQL tables of the training and test datasets used in our experimentation. These tables contain the preprocessed textual data (in a form of tokens) extracted from each trainin

Mendeley Data2024-01-31 更新210

skrishna/coin_flip_16_transformed

--- dataset_info: features: - name: targets dtype: string - name: targets_vec sequence: int64 - name: inputs dtype: string - name: text dtype: string - name: label dtyp

Hugging Face2024-03-20 更新70

skrishna/toxicity_preprop

资源简介：

数据集许可证

相关数据集