有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
allenai/dolma|自然语言处理数据集|机器学习数据集
收藏hugging_face2024-04-17 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/allenai/dolma
下载链接
链接失效反馈资源简介：
Dolma是一个包含3万亿个token的数据集，涵盖了网页内容、学术出版物、代码、书籍和百科全书材料等多种来源。数据集的最新版本是v1.7，用于训练OLMo 7B-v1.7模型。该数据集通过Dolma管道进行提取，并进行了新的质量过滤和去重步骤。
提供机构：
allenai
原始信息汇总
数据集概述
数据集名称
- 名称: Dolma
数据集描述
- 描述: Dolma是一个包含3万亿tokens的数据集，内容来源于多样化的网络内容、学术出版物、代码、书籍和百科全书材料。
数据集版本
- 当前版本: 6个版本
- v1_7: 默认版本，2024-04-15发布，4.5 TB，用于训练OLMo-7B-v1.7模型。新增来源，增强质量过滤和模糊去重。
- v1_6: 2024-01-31发布，5.4 TB，对v1.5的更新，进行文档去重。
- v1_6-sample: 2024-01-31发布，16.4 GB，约100亿tokens的小样本，用于数据探索。
- v1_5: 2023-10-31发布，6.4 TB，用于训练OLMo-1B模型，约3万亿tokens。
- v1_5-sample: 2023-10-31发布，2.9 TB，约1.9万亿tokens的样本，用于训练OLMo-7B模型。
- v1: 2023-08-18发布，6.0 TB，Dolma的首个版本。
数据集来源和处理
- 来源: 包括Common Crawl、Refined Web、StarCoder、C4、Reddit、Semantic Scholar、arXiv、StackExchange、Flan、CC News、OpenWebMath、Algebraic Stack、Project Gutenberg、MegaWika、Wikipedia & Wikibooks等。
- 处理: 使用Dolma管道进行提取和过滤，包括新的质量过滤和去重步骤。
数据集统计
- v1.7统计: 总计2532.0百万文档，2308.5亿OLMo tokens，实际用于训练的tokens为1.715万亿。
- v1.6统计: 总计4367百万文档，3059亿Llama tokens。
许可证
- 许可证: ODC-BY
下载信息
- 下载方式: 建议使用wget并行模式下载，通过克隆仓库并使用
url目录中的文件。
引用信息
- Bibtex引用: 若使用此数据集或工具，请引用相关文献。
AI搜集汇总
数据集介绍
构建方式
Dolma数据集的构建，是从互联网的多样化内容中收集了3万亿个标记，涵盖了网页、学术论文、代码、书籍以及百科全书材料等。通过使用特定的管道进行提取，并引入了新的质量过滤和模糊去重步骤，确保了数据集的高质量和多样性。
特点
Dolma数据集的特点在于其庞大的规模和内容的多样性。它不仅包含了互联网上的常见网页内容，还整合了学术出版物、编程代码和书籍等珍贵资源。此外，数据集采用了ODC-BY许可，保证了数据的开放性和可访问性，同时也注重了个人隐私保护，提供了删除个人数据的形式。
使用方法
使用Dolma数据集，用户可以通过克隆其GitHub仓库并使用其中的文件来进行下载。通过wget命令的并行下载模式可以加速下载过程。下载后，可以利用HuggingFace的datasets库来加载和操作数据集，从而方便地进行语言模型的预训练研究。
背景与挑战
背景概述
Dolma数据集，由Allen Institute for AI构建，是一个包含3万亿个标记的语料库，汇集了来自网络内容、学术出版物、代码、书籍和百科全书材料等多种来源的丰富多样性数据。该数据集的创建旨在为语言模型预训练研究提供开放的大规模语料资源。自2023年8月首次发布以来，Dolma经历了多次更新，不断完善其数据质量和多样性。该数据集的研究背景根植于自然语言处理领域，特别是语言模型预训练的发展需求，对相关领域产生了重要影响。
当前挑战
在构建Dolma数据集的过程中，研究人员面临了多方面的挑战。首先，确保数据来源的多样性和质量是一个关键挑战，涉及对海量数据的清洗、过滤和去重。其次，数据集的规模巨大，给存储、处理和分发带来了技术上的挑战。此外，数据集的合法使用和隐私保护也是构建过程中必须考虑的重要因素。在研究领域问题上，Dolma数据集旨在提高语言模型的泛化能力，但如何准确评估和优化模型性能仍然是一个持续的挑战。
常用场景
经典使用场景
在自然语言处理领域，Dolma数据集的3万亿个标记覆盖了多样化的网络内容、学术出版物、代码、书籍和百科全书材料，成为大规模语言模型预训练的基石。其经典的使用场景主要集中于训练和评估大规模语言模型，如OLMo系列模型，通过对该数据集的学习，模型能够掌握语言的结构和用法，实现高质量的文本生成。
衍生相关工作
基于Dolma数据集，研究者们开展了一系列相关工作，包括开发新的语言模型架构、探索模型在不同任务中的表现，以及研究数据集对模型偏见和伦理问题的影响。这些工作不仅推动了自然语言处理领域的发展，也为相关政策的制定提供了科学依据。
数据集最近研究
最新研究方向
Dolma数据集作为包含30万亿个token的多样化网络内容集合，为自然语言处理领域的研究提供了丰富的资源。近期，该数据集在语言模型预训练研究中占据重要地位，特别是在AllenAI的OLMo模型系列中得到应用。最新研究方向集中在如何通过高质量的数据筛选和去重技术，提高模型训练的效率和效果。例如，Dolma v1.7版本的发布，不仅引入了新的数据源，还采用了更精细的质量过滤和模糊去重步骤，这对于训练如OLMo 7B-v1.7等先进模型至关重要。此外，Dolma数据集的开放使用ODC-BY协议，为学术界的开放合作提供了良好的基础，推动了语言模型研究的开放共享趋势。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
giovannidemuri__sharegpt-ex50000-seed5_llama8b-er-v573-seed2-hx_256_ngt0.7_tp0.9
该数据集包含了用户与助手之间的对话，其中包含两个字段：用户发言和助手回应，均为字符串类型。训练集大小为38646852字节，共有44096条对话记录。
huggingface 收录
Figshare
Figshare是一个在线数据共享平台，允许研究人员上传和共享各种类型的研究成果，包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。
figshare.com 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
Other-Animals-10
该数据集包含103张图像，每张图像对应一个动物标签，标签类别包括熊、蜜蜂、甲虫等34种动物。数据集仅包含一个训练集，用于训练模型。
huggingface 收录
学生课堂行为数据集 (SCB-dataset3)
学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。
arXiv 收录