text-machine-lab/vocab_filtered_dataset_22B

该数据集是基于AO-Childes语音语料库的词汇过滤的预训练数据，来源于SlimPajama数据集的训练分割。数据集保留了包含整数、符号和AO-Childes词汇的文本片段，并允许约1.5%的词汇外单词。每个文本片段由32个连续的标记组成，并用特定的开始和结束符号标记。

原始信息汇总

数据集概述

数据集名称

• 名称: vocab_filtered_dataset_22B

数据集描述

• 来源: 该数据集是基于"Emergent Abilities in Reduced-Scale Generative Language Models"论文中发布的简化词汇过滤预训练数据。
• 词汇来源: 词汇源自AO-Childes语料库（https://github.com/UIUCLearningLanguageLab/AOCHILDES）。
• 处理方法: 对SlimPajama数据集的训练部分进行过滤，保留包含整数、符号和属于AO-Childes词汇的单词，允许约1.5%的词汇外单词。每个连续的32个令牌段由开始和结束符号界定。

数据集配置

• 默认配置:
  • 数据文件路径: data/train-*
  • 分割: train

数据集特征

• 特征:
  • 名称: text
  • 数据类型: string

数据集统计

• 训练分割:
  • 示例数量: 142498558
  • 字节数: 95741202256
• 下载大小: 19794480275
• 数据集大小: 95741202256

联系信息

• 联系人: [e-mail]

引用信息

@misc{muckatira2024emergent, title={Emergent Abilities in Reduced-Scale Generative Language Models}, author={Sherin Muckatira and Vijeta Deshpande and Vladislav Lialin and Anna Rumshisky}, year={2024}, eprint={2404.02204}, archivePrefix={arXiv}, primaryClass={cs.CL} }