MINT-1T-HTML
收藏资源简介:
MINT-1T是一个开源的多模态交错数据集,包含1万亿文本标记和34亿张图像,是现有开源数据集的10倍规模。此外,还包括了以前未被利用的来源,如PDF和ArXiv论文。MINT-1T旨在促进多模态预训练的研究。该数据集由华盛顿大学与Salesforce Research以及其他学术机构(包括斯坦福大学、德克萨斯大学奥斯汀分校和加州大学伯克利分校)合作创建。数据集包括从2017年到2024年的HTML文档、PDF文档和ArXiv论文,总共包含10.568亿份文档。数据集通过多步骤的处理和过滤,包括文档提取、内容过滤、图像处理和文本处理,以确保内容的相关性和可读性。尽管努力减少个人和敏感信息的包含,但用户应意识到数据可能仍包含一些敏感信息,并建议根据具体使用情况进行额外过滤。
MINT-1T is an open-source interleaved multimodal dataset containing 1 trillion text tokens and 3.4 billion images, with a scale 10 times that of existing open-source datasets. In addition, it includes previously underutilized sources such as PDF documents and ArXiv papers. MINT-1T aims to advance research in multimodal pre-training. This dataset was developed in collaboration with the University of Washington, Salesforce Research, and other academic institutions including Stanford University, The University of Texas at Austin, and the University of California, Berkeley. The dataset covers HTML documents, PDF documents, and ArXiv papers spanning from 2017 to 2024, with a total of 1.0568 billion documents. The dataset underwent multi-stage processing and filtering, including document extraction, content filtering, image processing, and text processing, to ensure the relevance and readability of the content. While efforts have been made to reduce the inclusion of personal and sensitive information, users should be aware that the dataset may still contain some sensitive data, and additional filtering based on specific use cases is recommended.
数据集概述
基本信息
- 许可证: CC-BY-4.0
- 任务类别:
- 图像到文本
- 文本生成
- 语言: 英语
- 标签: 多模态
- 名称: MINT-1T
- 大小: 100B<n<1T
数据集配置
- 配置名称: CC-MAIN-2024-18
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2024-18/*
- 数据文件:
- 配置名称: CC-MAIN-2024-10
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2024-10/*
- 数据文件:
- 配置名称: CC-MAIN-2023-50
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2023-50/*
- 数据文件:
- 配置名称: CC-MAIN-2023-40
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2023-40/*
- 数据文件:
- 配置名称: CC-MAIN-2023-23
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2023-23/*
- 数据文件:
- 配置名称: CC-MAIN-2023-14
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2023-14/*
- 数据文件:
- 配置名称: CC-MAIN-2023-06
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2023-06/*
- 数据文件:
- 配置名称: CC-MAIN-2022-49
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2022-49/*
- 数据文件:
- 配置名称: CC-MAIN-2022-40
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2022-40/*
- 数据文件:
- 配置名称: CC-MAIN-2022-33
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2022-33/*
- 数据文件:
- 配置名称: CC-MAIN-2022-27
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2022-27/*
- 数据文件:
- 配置名称: CC-MAIN-2022-21
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2022-21/*
- 数据文件:
- 配置名称: CC-MAIN-2022-05
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2022-05/*
- 数据文件:
- 配置名称: CC-MAIN-2021-49
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-49/*
- 数据文件:
- 配置名称: CC-MAIN-2021-43
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-43/*
- 数据文件:
- 配置名称: CC-MAIN-2021-39
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-39/*
- 数据文件:
- 配置名称: CC-MAIN-2021-31
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-31/*
- 数据文件:
- 配置名称: CC-MAIN-2021-25
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-25/*
- 数据文件:
- 配置名称: CC-MAIN-2021-21
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-21/*
- 数据文件:
- 配置名称: CC-MAIN-2021-17
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-17/*
- 数据文件:
- 配置名称: CC-MAIN-2021-10
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-10/*
- 数据文件:
- 配置名称: CC-MAIN-2021-04
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2021-04/*
- 数据文件:
- 配置名称: CC-MAIN-2020-50
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-50/*
- 数据文件:
- 配置名称: CC-MAIN-2020-45
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-45/*
- 数据文件:
- 配置名称: CC-MAIN-2020-40
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-40/*
- 数据文件:
- 配置名称: CC-MAIN-2020-34
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-34/*
- 数据文件:
- 配置名称: CC-MAIN-2020-29
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-29/*
- 数据文件:
- 配置名称: CC-MAIN-2020-24
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-24/*
- 数据文件:
- 配置名称: CC-MAIN-2020-16
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-16/*
- 数据文件:
- 配置名称: CC-MAIN-2020-10
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-10/*
- 数据文件:
- 配置名称: CC-MAIN-2020-05
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2020-05/*
- 数据文件:
- 配置名称: CC-MAIN-2019-51
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-51/*
- 数据文件:
- 配置名称: CC-MAIN-2019-47
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-47/*
- 数据文件:
- 配置名称: CC-MAIN-2019-43
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-43/*
- 数据文件:
- 配置名称: CC-MAIN-2019-39
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-39/*
- 数据文件:
- 配置名称: CC-MAIN-2019-35
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-35/*
- 数据文件:
- 配置名称: CC-MAIN-2019-30
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-30/*
- 数据文件:
- 配置名称: CC-MAIN-2019-26
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-26/*
- 数据文件:
- 配置名称: CC-MAIN-2019-22
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-22/*
- 数据文件:
- 配置名称: CC-MAIN-2019-18
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-18/*
- 数据文件:
- 配置名称: CC-MAIN-2019-13
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2019-13/*
- 数据文件:
- 配置名称: CC-MAIN-2018-51
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-51/*
- 数据文件:
- 配置名称: CC-MAIN-2018-47
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-47/*
- 数据文件:
- 配置名称: CC-MAIN-2018-43
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-43/*
- 数据文件:
- 配置名称: CC-MAIN-2018-39
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-39/*
- 数据文件:
- 配置名称: CC-MAIN-2018-34
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-34/*
- 数据文件:
- 配置名称: CC-MAIN-2018-30
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-30/*
- 数据文件:
- 配置名称: CC-MAIN-2018-26
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-26/*
- 数据文件:
- 配置名称: CC-MAIN-2018-22
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-22/*
- 数据文件:
- 配置名称: CC-MAIN-2018-17
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-17/*
- 数据文件:
- 配置名称: CC-MAIN-2018-13
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-13/*
- 数据文件:
- 配置名称: CC-MAIN-2018-09
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-09/*
- 数据文件:
- 配置名称: CC-MAIN-2018-05
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2018-05/*
- 数据文件:
- 配置名称: CC-MAIN-2017-51
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-51/*
- 数据文件:
- 配置名称: CC-MAIN-2017-47
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-47/*
- 数据文件:
- 配置名称: CC-MAIN-2017-43
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-43/*
- 数据文件:
- 配置名称: CC-MAIN-2017-39
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-39/*
- 数据文件:
- 配置名称: CC-MAIN-2017-34
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-34/*
- 数据文件:
- 配置名称: CC-MAIN-2017-30
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-30/*
- 数据文件:
- 配置名称: CC-MAIN-2017-26
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-26/*
- 数据文件:
- 配置名称: CC-MAIN-2017-22
- 数据文件:
- 分割: 训练
- 路径: CC-MAIN-2017-22/*
- 数据文件:
数据集详情
数据集来源
- HTML文档: 从2017年到2024年的CommonCrawl WARC转储中筛选
- PDF文档: 从2023年到2024年的CommonCrawl WAT转储中提取
- ArXiv文档: 来自ArXiv仓库的论文子集
数据集大小
- 总计包含1056.8百万份文档
- 1029.4百万份HTML文档
- 26.8百万份PDF文档
- 0.6百万份ArXiv文档
数据收集和处理
-
文档提取:
- HTML文档从CommonCrawl WARC文件中解析
- PDF文档从CommonCrawl WAT文件中提取
- ArXiv论文直接从ArXiv S3存储桶中获取
-
过滤过程:
- 应用文本质量过滤器以确保内容相关性和可读性
- 在段落和文档级别删除重复内容
- 根据预定义标准过滤掉不良内容
- 验证HTML文档的图像可用性和质量
- 限制PDF大小为50MB和50页以管理数据集大小和质量
-
图像处理:
- 使用NSFW图像检测移除色情或其他不良图像
- 移除小于150像素或大于20,000像素的图像
- 调整HTML(2:1)和PDF(3:1)的宽高比阈值以保留科学图表
-
文本处理:
- 使用fasttext进行语言识别,专注于英语内容
- 屏蔽个人识别信息,如电子邮件地址和IP地址
- 使用Bloom过滤器进行段落和文档级别的去重
-
PDF特定处理:
- 使用PyMuPDF解析PDF并提取阅读顺序
- 根据列对文本块进行聚类,并从左上到右下排序
-
ArXiv特定处理:
- 使用TexSoup解析LaTeX源代码并将图像与文本交错
- 清理LaTeX代码,移除导入、参考文献、表格和引用标签
个人和敏感信息
- 尽管数据来自公共网络,但已采取措施最小化个人和敏感信息的包含
- 电子邮件地址和IP地址被屏蔽以保护隐私
- 使用NSFW图像分类器移除不当视觉内容
- 过滤掉包含不良或敏感内容子字符串的URL
偏见、风险和限制
- 数据偏见: 由于数据来自网络爬取,可能继承在线内容的偏见
- 内容风险: 尽管经过广泛过滤,仍可能存在一些冒犯性、不敏感或不当内容
- 图像可用性: 数据集依赖外部图像URL,可能因链接失效而影响长期可用性
- PDF解析限制: 当前提取PDF阅读顺序的方法可能无法准确捕捉复杂布局文档的意图流
- 潜在法律和伦理问题: 尽管努力尊重robots.txt文件并移除敏感信息,仍可能包含未经明确同意的内容
建议
- 额外过滤: 强烈建议用户根据特定用例和伦理考虑应用额外过滤
- 不当用例: 数据集不适用于处理或生成个人识别信息的应用,也不适用于军事应用
- 法律合规性: 用户应独立验证在使用MINT-1T进行商业目的时的法律合规性
- 偏见意识: 研究人员和开发者应意识到数据集中的潜在偏见,并考虑其对模型训练和输出的影响
许可证
- 许可证: CC-BY-4.0
- 用途: 主要作为研究成果发布
- 商业用途: 用户需独立验证在商业设置中使用MINT-1T的合规性
引用
@article{awadalla2024mint1t, title={MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens}, author={Anas Awadalla




