MimanusM1_v1_Dataset
收藏资源简介：
Mimans 1B Token Pretraining Mixture 是一个高质量、精心配比的预训练数据集混合体，专为参数规模在0.5B至3B之间的中小型语言模型设计。数据集包含约10亿个token，共819,493个文档，文件大小为2.03 GB，格式为Apache Parquet（snappy压缩）。其token混合比例经过精心设计：自然文本（从网络爬取中提取，已清除碎片化代码和数学公式）占72%，代码（包括Python、JavaScript、TypeScript、Java、C）共占18%，数学内容（LaTeX公式、证明和方程）占10%。每个样本包含三个字段：text（文档文本）、source_type（类别标识，如text、code_python、maths等）和token_count（token数量估计）。该数据集可直接用于语言模型的预训练任务，提供丰富的自然语言、编程语言和数学推理数据。
Mimans 1B Token Pretraining Mixture is a high-quality, carefully proportioned pretraining dataset mixture designed for small to medium-sized language models with parameter sizes between 0.5B and 3B. The dataset contains approximately 1 billion tokens, 819,493 documents, and a file size of 2.03 GB in Apache Parquet format (snappy compressed). Its token mixing ratio is carefully designed: natural text (extracted from web crawls, cleaned of fragmented code and mathematical formulas) accounts for 72%, code (including Python, JavaScript, TypeScript, Java, C) accounts for 18%, and mathematical content (LaTeX formulas, proofs, and equations) accounts for 10%. Each sample includes three fields: text (document text), source_type (category identifier, such as text, code_python, maths, etc.), and token_count (estimated token count). This dataset can be directly used for pretraining tasks of language models, providing rich natural language, programming language, and mathematical reasoning data.
Mimans 1B Token Pretraining Mixture 数据集概述
基本信息
- 数据集名称：Mimans 1B Token Pretraining Mixture
- 语言：英语（en）
- 许可证：Apache 2.0
- 标签：预训练、数据集混合、代码、数学、大语言模型
- 数据规模：1B-10B tokens
- 任务类型：文本生成
核心指标
| 项目 | 数值 |
|---|---|
| 文件名称 | train-00000-of-00001.parquet |
| 文件大小 | 2076.95 MB（约2.03 GB） |
| 文档总数 | 819,493 |
| 总Token数 | 约10亿（1,000,000,000） |
| 数据格式 | Apache Parquet（snappy压缩） |
Token混合比例
| 类别 | 来源 | Token占比 | Token数量 | 描述 |
|---|---|---|---|---|
| 自然文本 | 网页抓取 | 72.0% | ~720,000,000 | 已清除碎片化代码和数学公式的干净文本 |
| Python | 专门代码 | 5.04% | ~50,400,000 | 高质量Python源代码 |
| JavaScript | 专门代码 | 4.33% | ~43,200,000 | 高质量JavaScript源代码 |
| TypeScript | 专门代码 | 3.60% | ~36,000,000 | 高质量TypeScript源代码 |
| Java | 专门代码 | 2.88% | ~28,800,000 | 高质量Java源代码 |
| C | 专门代码 | 2.16% | ~21,600,000 | 高质量C源代码 |
| 数学 | 公式与推理 | 10.00% | ~100,000,000 | LaTeX数学公式、证明和方程 |
数据集Schema
- text（string）：文档文本
- source_type（string）：类别标识符，取值包括：
text、code_python、code_javascript、code_typescript、code_java、code_c、maths - token_count（int64）：Token数量估算值
用途说明
该数据集是针对0.5B至3B参数规模的小型到中型语言模型预训练而专门策划的高质量数据集混合，涵盖自然语言、多种编程语言代码以及数学内容，适合用于预训练阶段的文本生成任务。
