PiscesData

# 0.1B 三模态模型训练数据集包 — README **生成日期**：2026-10-21 **适用模型**：0.1B 混合架构（Transformer + SiFu + Liquid），24GB 显存训练 / 本地 CPU 验证 本压缩包包含 **7 个 jsonl 数据集文件**、本 README 与汇总统计 `stats.json`。全部数据统一为 jsonl 格式（UTF-8、`\n` 换行、每行一个 JSON 对象），已做逐条清洗（去空、去乱码、截断超长、md5 行级去重）。所有数据均从**国内可达源**获取（modelscope.cn 与 hf-mirror.com 镜像），未直连境外服务。 ## 1. 统一 Schema | Schema | 适用文件 | 说明 | |---|---|---| | `{"text": "..."}` | 01 / 03 / 04 / 07 | 纯预训练文本；07 的 text 为 `图片链接: <url>\n图片描述: <caption>`（仅 URL+说明，不含图片二进制） | | `{"messages": [{"role":"user","content":"..."},{"role":"assistant","content":"..."}]}` | 02 / 05 | 对话/指令；05 的 assistant 内容为含推理链的完整解答 | | `{"messages": [...], "tools": [...]}` | 06 | 函数调用；assistant 消息内含 `tool_calls`，顶层 `tools` 为函数定义列表 | token 估算规则：`est_tokens = raw_bytes // 4`（启发式，用于规模对比）。 ## 2. 数据集明细 | 文件 | 内容 | 行数 | 原始大小 | 估算 tokens | 来源（国内镜像） | 许可 | |---|---|---|---|---|---|---| | 01_chinese_general.jsonl | 中文通用预训练（Chinese FineWeb-Edu 子集） | 256,148 | 1,050.3 MB | ≈2.63 亿 | modelscope `opencsg/chinese-fineweb-edu`（IndustryCorpus/00000.parquet） | apache-2.0 | | 02_math.jsonl | 数学题（GSM8K 全量 + MetaMathQA 子集 ≈20 万条） | 208,365 | 251.6 MB | ≈6,290 万 | openai/gsm8k（hf-mirror）+ modelscope `AI-ModelScope/MetaMathQA` | MIT | | 03_english_general.jsonl | 英文通用预训练（fineweb-edu 分片） | 90,820 | 367.0 MB | ≈9,180 万 | HuggingFaceFW/fineweb-edu（CC-MAIN-2024-10 分片，hf-mirror） | odc-by | | 04_code.jsonl | 代码（CodeSearchNet python） | 143,202 | 157.4 MB | ≈3,930 万 | code_search_net（hf-mirror） | 见原卡片 | | 05_cot_reasoning.jsonl | 思维链/推理（OpenR1-Math-220k 子集） | 46,867 | 63.6 MB | ≈1,590 万 | open-r1/OpenR1-Math-220k（hf-mirror） | 见原卡片 | | 06_function_calling.jsonl | 函数调用（xlam-function-calling-60k 子集） | 58,293 | 101.2 MB | ≈2,530 万 | modelscope `LLM-Research/xlam-function-calling-60k` | cc-by-4.0 | | 07_multimodal_captions.jsonl | 图文对（CC3M，URL+说明，不包含图片） | 60,858 | 12.9 MB | ≈320 万 | google-research-datasets/conceptual_captions（hf-mirror） | 见原卡片 | | **合计** | — | **864,553** | **≈2,003.4 MB** | **≈5.0 亿** | — | — | ## 3. 规模与“不过拟合”说明 - 主预训练文本合计（中文 01 + 英文 03 + 数学 02）≈ **4.17 亿 tokens**；加代码/思维链/函数调用/图文 ≈ **5.0 亿 tokens**。 - 0.1B 模型在 5 亿 token 量级上不存在过拟合风险（远高于常见过拟合阈值），同时体积控制为压缩后约 0.5~1GB 级别。 - 若需进一步缩小，可优先按比例抽稀 01（中文）与 03（英文）；不建议低于 3 亿 tokens。 ## 4. 清洗与去重统计 | 文件 | 去乱码丢弃 | 截断（超长） | 行级去重 | |---|---|---|---| | 01 | 9 | 1,930 | 0 | | 02 | 0 | 2 | 462 | | 03 | 0 | 12,591 | 0 | | 04 | 0 | 2,669 | 0 | | 05 | 0 | 368 | 0 | | 06 | 0 | 0 | 1,707 | | 07 | 0 | 0 | 0 | 截断上限：预训练文本 8,192 字符；指令/对话 content 4,096 字符。空行/纯空白样本全部丢弃。 ## 5. 使用建议 - 划分：每个文件按 98:2 随机切分 train/val（或整体混洗后切分）。 - 混合比例（参考）：中文 : 英文 : 数学 : 代码 : 推理 : 工具 ≈ 55 : 20 : 12 : 8 : 3 : 2；07 图文对可作为多模态对齐的附加样本。 - 许可提示：各数据集许可不同（见上表），公开发布/商用前请核对各来源的许可条款。 ## 6. 关于 Chinese FineWeb 的说明 用户点名的 Chinese FineWeb（HuggingFaceFW/fineweb zh 分片）经实测在镜像上无法直连流式读取（分片文件数 2.8 万、体积巨大、连接超时），因此采用其国内精筛镜像 **opencsg/chinese-fineweb-edu**（官方 Chinese FineWeb-Edu 的中文子集，290GB 中仅取 1 个分片）作为等价中文预训练语料，质量与规模均满足 0.1B 模型需求。