text-machine-lab/vocab_filtered_dataset_2.1B

该数据集是简化词汇过滤的预训练数据，源自论文《Emergent Abilities in Reduced-Scale Generative Language Models》。数据集通过使用AO-Childes词汇库从SlimPajama数据集中过滤出包含整数、符号和AO-Childes词汇的文本片段，允许约1.5%的非词汇库单词，用于研究小型生成语言模型的涌现能力。

原始信息汇总

数据集概述

数据集名称

vocab_filtered_dataset_2.1B

数据集描述

该数据集是简化词汇过滤的预训练数据，源自论文 "Emergent Abilities in Reduced-Scale Generative Language Models"。词汇基于 AO-Childes 语料库（https://github.com/UIUCLearningLanguageLab/AOCHILDES）。数据集通过过滤 SlimPajama 数据集的训练部分（https://huggingface.co/datasets/cerebras/SlimPajama-627B），保留包含整数、符号和属于 AO-Childes 词汇的单词的连续跨度，长度为100个令牌。约1.5%的非词汇单词也被允许存在。

数据集特征

• 名称: text
• 数据类型: string

数据集拆分

• 名称: train
• 示例数量: 8419938
• 数据大小: 8490827491字节

下载信息

• 下载大小: 5222595040字节
• 数据集大小: 8490827491字节

配置信息

• 配置名称: default
• 数据文件:
  • 拆分: train
  • 路径: data/train-*

引用信息

若该数据集对您有帮助，请引用相关工作：

@misc{muckatira2024emergent, title={Emergent Abilities in Reduced-Scale Generative Language Models}, author={Sherin Muckatira and Vijeta Deshpande and Vladislav Lialin and Anna Rumshisky}, year={2024}, eprint={2404.02204}, archivePrefix={arXiv}, primaryClass={cs.CL} }