有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
BAAI/IndustryCorpus
收藏hugging_face2024-07-23 更新2024-07-22 收录
下载链接：
https://hf-mirror.com/datasets/BAAI/IndustryCorpus
下载链接
链接失效反馈资源简介：
该数据集是一个高质量的多行业分类中英文预训练数据集，通过22个行业数据处理操作符从超过100TB的开源数据集中清洗和过滤出3.4TB的高质量数据，包括1TB中文数据和2.4TB英文数据。中文数据标注了12种标签，如字母数字比例、平均行长度、语言置信度分数等。数据集在医疗行业示范模型上的持续预训练、SFT和DPO训练中表现出色，客观性能提升了20%，主观胜率达到82%。数据集涵盖18个行业类别，如医疗、教育、文学、金融等，并进行了规则和模型基础的过滤、数据去重等处理。
This dataset consists of 3.4TB of high-quality multi-industry classified Chinese and English pre-training data, filtered from over 100TB of open-source datasets using 22 industry data processing operators. It includes 1TB of Chinese data and 2.4TB of English data, with 12 types of labels annotated for the Chinese data. The dataset covers 18 industry categories such as medical, education, literature, finance, and uses rule-based and model-based filtering methods, as well as document-level deduplication techniques. Performance validation on a medical industry demonstration model showed a 20% improvement in objective performance and an 82% subjective win rate.
提供机构：
BAAI
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。
国家青藏高原科学数据中心 收录
ERIC (Education Resources Information Center)
ERIC (Education Resources Information Center) 是一个广泛的教育文献数据库，包含超过130万条记录，涵盖从1966年至今的教育研究、政策和实践。数据集内容包括教育相关的期刊文章、书籍、研究报告、会议论文、技术报告、政策文件等。
eric.ed.gov 收录
alpacaGPT4_llama8b-v120-jb-seed2-alpaca_512_ngt0.7_tp0.9
该数据集包含了用户和助手之间的对话，具有用户和助手发言的文本特征，以及一个索引级别特征。数据集分为训练集，共有52001条对话记录。
huggingface 收录
GID(Gaofen Image Dataset)
GID 是具有高分二号（GF-2）卫星图像的大规模土地覆盖数据集。这个新的数据集被命名为高分图像数据集（GID），由于其覆盖范围大、分布广、空间分辨率高，优于现有的土地覆盖数据集。 GID由两部分组成：大规模分类集和精细土地覆盖分类集。大规模分类集包含 150 个像素级标注的 GF-2 图像，精细分类集由 30,000 个多尺度图像块加上 10 个像素级标注的 GF-2 图像组成。分别基于 5 个类别的训练和验证图像收集和重新标记 15 个类别的训练和验证数据。
OpenDataLab 收录
O*NET
O*NET（Occupational Information Network）是一个综合性的职业信息数据库，提供了关于各种职业的详细描述，包括技能要求、工作活动、知识领域、工作环境等。该数据集被广泛用于职业分析、教育和劳动力市场研究。
www.onetonline.org 收录