有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
IndustryCorpus_mathematics|数学数据集|预训练数据集数据集
收藏huggingface2024-07-26 更新2024-12-12 收录
下载链接：
https://huggingface.co/datasets/BAAI/IndustryCorpus_mathematics
下载链接
链接失效反馈资源简介：
本数据集是一个高质量的多行业分类中英文预训练数据集，通过22个行业数据处理操作符从超过100TB的开放源数据集中筛选出3.4TB的高质量数据，包括1TB的中文数据和2.4TB的英文数据。数据集涵盖18个行业类别，并进行了详细的标注和过滤处理，如传统中文转换、电子邮件和IP地址移除、链接移除、Unicode修复等。此外，数据集还进行了模型训练验证，显示了显著的性能提升。
提供机构：
Beijing Academy of Artificial Intelligence
创建时间：
2024-07-25
原始信息汇总
数据集概述
数据集基本信息
- 许可证：Apache 2.0
- 语言：中文、英文
- 数据量：1TB 中文数据，2.4TB 英文数据
- 任务类别：文本生成
数据集构建
- 原始数据来源：WuDaoCorpora, BAAI-CCI, redpajama, SkyPile-150B
- 原始数据量：超过 100TB
- 处理后数据量：3.4TB
- 行业分类：18个行业类别
- 数据处理操作：22个行业数据处理操作符
数据处理方法
- 基于规则的过滤：繁体中文转换、电子邮件移除、IP地址移除、链接移除、Unicode修复等
- 基于模型的过滤：行业分类语言模型，准确率80%
- 数据去重：MinHash文档级去重
数据标注
- 中文数据标注：12种标签，包括字母数字比、平均行长度、语言置信度分数、最大行长度、困惑度等
数据集验证
- 模型训练：继续预训练、SFT、DPO训练
- 性能提升：客观性能提升20%，主观胜率82%
行业分类数据量
| 行业类别 | 数据量 (GB) | 行业类别 | 数据量 (GB) |
|---|---|---|---|
| 编程 | 4.1 | 政治 | 326.4 |
| 法律 | 274.6 | 数学 | 5.9 |
| 教育 | 458.1 | 体育 | 442 |
| 金融 | 197.8 | 文学 | 179.3 |
| 计算机科学 | 46.9 | 新闻 | 564.1 |
| 技术 | 333.6 | 影视 | 162.1 |
| 旅游 | 82.5 | 医学 | 189.4 |
| 农业 | 41.6 | 汽车 | 40.8 |
| 情感 | 31.7 | 人工智能 | 5.6 |
| 总计 (GB) | 3386.5 |
AI搜集汇总
数据集介绍
构建方式
IndustryCorpus_mathematics数据集的构建过程体现了对高质量行业数据的严格筛选与处理。该数据集从超过100TB的开源数据集中，如WuDaoCorpora、BAAI-CCI等，通过22种行业数据处理算子进行清洗和过滤，最终提取出3.4TB的高质量多行业分类中英文预训练数据集。特别地，中文数据经过12种标签的标注，包括字母数字比例、平均行长度等，确保了数据的专业性和可用性。
特点
该数据集的特点在于其广泛覆盖了18个行业类别，包括医疗、教育、法律等，每个类别的数据量均经过精确统计。数据集中的中文数据特别标注了多种语言特征，如语言置信度分数、困惑度等，这些标注为模型训练提供了丰富的语言特征信息。此外，数据集通过模型过滤和文档级去重技术，确保了数据的独特性和高质量。
使用方法
IndustryCorpus_mathematics数据集的使用方法灵活多样，适用于多种自然语言处理任务，如文本生成、语言模型训练等。用户可以根据需要下载特定行业的子数据集，如数学行业的数据集。此外，数据集的中文标注信息为特定领域的研究和开发提供了便利，使得模型训练更加精准和高效。
背景与挑战
背景概述
IndustryCorpus_mathematics数据集是IndustryCorpus系列中的一个子集，专注于数学领域的文本数据。该数据集由多个研究机构联合构建，旨在解决行业模型训练中数据质量不足、领域专业知识缺乏等问题。通过对超过100TB的开源数据集进行清洗和过滤，最终生成了1TB的中文和2.4TB的英文高质量预训练数据。该数据集涵盖了18个行业类别，其中数学领域的数据量为5.9GB。数据集的构建过程中，采用了22种行业数据处理算子，确保了数据的多样性和专业性。该数据集的发布为数学领域的自然语言处理研究提供了重要的资源支持，推动了行业模型在数学领域的应用与发展。
当前挑战
IndustryCorpus_mathematics数据集在构建过程中面临多重挑战。首先，数学领域的文本数据具有高度的专业性和复杂性，如何从海量数据中筛选出高质量且具有代表性的数学文本是一个关键问题。其次，数据清洗和过滤过程中，需要处理诸如传统中文转换、电子邮件删除、IP地址去除等技术难题，以确保数据的纯净度。此外，数据标注和分类的准确性也是一个重要挑战，尤其是在多语言环境下，如何确保语言模型的分类准确率达到80%以上，需要大量的计算资源和算法优化。最后，数据去重和分块处理也对存储和计算能力提出了较高要求，尤其是在处理TB级数据时，如何高效地进行文档级去重和分块存储是一个技术难点。
常用场景
经典使用场景
在数学领域的自然语言处理研究中，IndustryCorpus_mathematics数据集被广泛应用于文本生成模型的训练与优化。该数据集通过提供高质量的数学相关文本，支持模型在数学问题解答、数学文献生成等任务中的表现提升。其丰富的标注信息和多样化的文本类型，使得研究者能够深入探索数学语言的特征与规律。
衍生相关工作
基于IndustryCorpus_mathematics数据集，研究者开发了一系列数学领域的自然语言处理模型，如数学文本分类器、数学问题生成器以及跨语言数学翻译系统。这些工作不仅扩展了数学语言处理的研究边界，还为其他学科领域的文本处理提供了借鉴与参考。
数据集最近研究
最新研究方向
在工业智能化和创新发展的背景下，高质量行业数据对于提升大模型性能至关重要。IndustryCorpus_mathematics数据集作为多行业分类预训练数据集的一部分，专注于数学领域的数据处理与应用。近年来，该数据集在数学文本生成、数学问题求解以及数学教育智能化等前沿研究方向展现出显著潜力。通过结合规则过滤和模型过滤技术，数据集在数学领域的语言模型训练中表现出较高的准确性和稳定性。此外，该数据集在数学教育领域的应用，如智能辅导系统和个性化学习路径推荐，已成为研究热点。其影响不仅限于学术研究，还推动了数学教育资源的智能化分配和优化，具有广泛的社会意义。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。
国家青藏高原科学数据中心 收录
China Health and Nutrition Survey (CHNS)
China Health and Nutrition Survey（CHNS）是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目，旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响，以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体，采用多阶段随机抽样方法，收集了家庭、个体以及社区层面的详细数据，包括饮食、健康、经济和社会因素等信息。自2011年起，CHNS不断扩展，新增多个城市和省份，并持续完善纵向数据链接，为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。
www.cpc.unc.edu 收录
MeSH
MeSH（医学主题词表）是一个用于索引和检索生物医学文献的标准化词汇表。它包含了大量的医学术语和概念，用于描述医学文献中的主题和内容。MeSH数据集包括主题词、副主题词、树状结构、历史记录等信息，广泛应用于医学文献的分类和检索。
www.nlm.nih.gov 收录
LEVIR-CD
LEVIR-CD 是一个新的大规模遥感建筑变化检测数据集。引入的数据集将成为评估变化检测 (CD) 算法的新基准，尤其是基于深度学习的算法。 LEVIR-CD 由 637 个非常高分辨率（VHR，0.5m/像素）Google Earth (GE) 图像块对组成，大小为 1024 × 1024 像素。这些时间跨度为 5 到 14 年的双时相图像具有显着的土地利用变化，尤其是建筑增长。 LEVIR-CD涵盖别墅住宅、高层公寓、小型车库和大型仓库等各类建筑。在这里，我们关注与建筑相关的变化，包括建筑增长（从土壤/草地/硬化地面或在建建筑到新建筑区域的变化）和建筑衰退。这些双时相图像由遥感图像解释专家使用二进制标签（1 表示变化，0 表示不变）进行注释。我们数据集中的每个样本都由一个注释器进行注释，然后由另一个注释器进行双重检查以产生高质量的注释。完整注释的 LEVIR-CD 总共包含 31,333 个单独的变更构建实例。
OpenDataLab 收录
中文突发事件语料库
中文突发事件语料库是由上海大学（语义智能实验室）所构建，根据国务院颁布的《国家突发公共事件总体应急预案》的分类体系，从互联网上收集了5类（地震、火灾、交通事故、恐怖袭击和食物中毒）突发事件的新闻报道作为生语料，然后再对生语料进行文本预处理、文本分析、事件标注以及一致性检查等处理，最后将标注结果保存到语料库中，CEC合计332篇。
github 收录