multilingual dataset for imatrix or quantization calibration

这是一个用于创建llama.cpp重要性矩阵或LLM/嵌入模型量化校准分析的多语言数据集构建工具。数据集包含约30,000个单词的多种人类语言（阿拉伯语、孟加拉语、保加利亚语、捷克语、丹麦语、德语、希腊语、爱沙尼亚语、芬兰语、法语、希伯来语、印地语、克罗地亚语、匈牙利语、印尼语、意大利语、日语、韩语、拉脱维亚语、立陶宛语、荷兰语、挪威语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、西班牙语、塞尔维亚语、斯瓦希里语、瑞典语、泰语、土耳其语、乌克兰语、越南语和中文）以及约1,000行代码的多种编程语言（Bash、C#、C++、Dart、Elixir、Go、Haskell、HTML/CSS/Javascript、Java、Kotlin、Lua、Objective-C、Perl、PHP、Python、R、Ruby、Rust、SQL、Swift和Typescript）。数据总标记数约为140万，数据来源于Gemini 2.5 Pro生成的合成数据。

This is a multilingual dataset construction tool for generating importance matrices for llama.cpp or conducting calibration analysis for LLM/embedding model quantization. The dataset includes approximately 30,000 words across a diverse set of human languages, including Arabic, Bengali, Bulgarian, Czech, Danish, German, Greek, Estonian, Finnish, French, Hebrew, Hindi, Croatian, Hungarian, Indonesian, Italian, Japanese, Korean, Latvian, Lithuanian, Dutch, Norwegian, Polish, Portuguese, Romanian, Russian, Slovak, Slovenian, Spanish, Serbian, Swahili, Swedish, Thai, Turkish, Ukrainian, Vietnamese, and Chinese. It also contains roughly 1,000 lines of code spanning multiple programming languages, namely Bash, C#, C++, Dart, Elixir, Go, Haskell, HTML/CSS/JavaScript, Java, Kotlin, Lua, Objective-C, Perl, PHP, Python, R, Ruby, Rust, SQL, Swift, and Typescript. The total token count of the dataset is approximately 1.4 million, and all data is synthetic content generated by Gemini 2.5 Pro.

原始信息汇总

dataset_build 数据集概述

数据集简介

dataset_build 是一个用于构建多语言数据集的工具，专门为创建 llama.cpp 重要性矩阵（imatrix）或用于 LLM/嵌入模型量化前分析而设计。

数据构成

语言覆盖

• 人类语言：包含 37 种语言，每种语言约 30,000 词
• 编程语言：包含 21 种编程语言，每种语言约 1,000 行代码
• 总词元数：约 140 万

人类语言列表

阿拉伯语、孟加拉语、保加利亚语、捷克语、丹麦语、德语、希腊语、爱沙尼亚语、芬兰语、法语、希伯来语、印地语、克罗地亚语、匈牙利语、印尼语、意大利语、日语、韩语、拉脱维亚语、立陶宛语、荷兰语、挪威语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、西班牙语、塞尔维亚语、斯瓦希里语、瑞典语、泰语、土耳其语、乌克兰语、越南语、中文

编程语言列表

Bash、C#、C++、Dart、Elixir、Go、Haskell、HTML/CSS/Javascript、Java、Kotlin、Lua、Objective-C、Perl、PHP、Python、R、Ruby、Rust、SQL、Swift、Typescript

数据来源

数据完全由 Gemini 2.5 Pro 合成生成：

• 人类语言生成提示：要求生成 30,000 词涵盖 10 个主题领域的多样化文本
• 编程语言生成提示：要求生成 1,000 行代码，涵盖指定语言的所有可能特性
• 附加英文数据：包含 1,000 个生僻英语单词及其短句示例

主题范围

人类语言主题

科学和技术学科、医学和生命科学、数学和逻辑、艺术和人文学科、幻想神话和民间传说、小众爱好和冷门知识、行话和专业术语、抽象和概念性主题、创意和想象力写作提示、新兴和跨学科领域

工具功能

主要选项

• --include：指定要包含的语言列表
• --exclude：指定要排除的语言列表
• --list：列出所有可用语言
• --model：使用 HF 模型检查未知词元
• --chat：对数据集应用聊天模板
• --autosplit：输出 JSON 格式的字符串数组
• --tokenize：输出词元 ID 而非文本

输出格式

• 默认生成 output.txt 文本文件
• 使用 autosplit 时生成 output.json（包含 input_ids 和 attention_mask）
• 使用 tokenize 时生成 JSON 格式的词元器输出
• 应用聊天模板时采用特定对话格式

数据组织

数据按 ISO 639-3 语言代码组织在 data 文件夹中，编程语言存放在 coding 子文件夹内，所有 .txt 文件都会被添加到数据集中。

搜集汇总

数据集介绍

构建方式

在构建多语言量化校准数据集的过程中，采用了基于Gemini 2.5 Pro模型生成合成数据的创新方法。针对人类语言部分，通过精心设计的提示词生成涵盖科学、医学、艺术等十大主题的文本，每种语言约3万词汇；编程语言则通过特定提示生成包含元编程、模板等特性的代码片段，每种语言约1000行。数据按ISO 639-3语言代码和编程语言分类存储于文本文件，并支持通过模型分词器进行未知标记检测以确保数据质量。

使用方法

使用者可通过pip安装工具包后，利用命令行接口灵活配置数据生成参数。支持按需包含或排除特定语言，并能指定HuggingFace模型进行分词验证和未知标记过滤。输出格式可根据需求选择原始文本、自动分块的JSON数组或直接分词后的标识符序列。特别提供的聊天模板功能可将数据转换为对话格式，为对话模型的量化校准提供结构化输入。工具还支持自动根据模型最大序列长度进行智能分块，确保生成数据与目标模型的兼容性。

背景与挑战

背景概述

随着大语言模型量化技术的快速发展，多语言量化校准数据集成为提升模型跨语言性能的关键基础设施。该数据集由开源社区于2024年构建，专注于解决多语言环境下模型权重量化过程中的精度损失问题。其核心价值在于通过覆盖37种人类语言和21种编程语言的合成语料，为LLaMA.cpp等框架提供重要性矩阵计算基础，显著提升了多语言模型在低精度运算下的表征能力。

当前挑战

该数据集面临双重挑战：在领域问题层面，需克服多语言量化过程中因语言结构差异导致的校准偏差，特别是非拉丁语系语言的字符编码和语义分布复杂性；在构建层面，依赖合成数据生成需确保语言样本的多样性和专业性，同时要通过tokenizer验证避免未知符号污染，且需维持技术文档与文学文本之间的平衡表征。

常用场景

经典使用场景

在多语言量化校准研究领域，该数据集通过覆盖37种人类语言和21种编程语言的合成文本，为大型语言模型的重要性矩阵构建提供了标准化语料。研究者可借助该工具生成跨学科主题的均衡文本样本，涵盖科学医学、人文艺术、专业术语等十个知识领域，有效支持模型在多语言环境下的量化敏感性分析。

解决学术问题

该数据集解决了LLM量化过程中因语言分布偏差导致的校准失真问题，通过合成数据确保各语言词汇覆盖的均衡性。其意义在于为跨语言模型压缩提供了可复现的基准，显著提升了量化模型在低资源语言上的性能一致性，推动了多语言NLP模型轻量化的理论研究进程。

实际应用

实际应用中，该数据集被广泛应用于多语言聊天机器人、代码助手等产品的模型优化环节。企业可针对特定语言组合生成校准数据，优化部署在边缘设备的多语言模型性能，尤其在处理小语种查询和跨语言代码生成任务时，能有效降低量化误差带来的服务品质波动。

数据集最近研究

最新研究方向

在量化校准与重要性矩阵构建领域，多语言数据集正成为提升大语言模型跨语言泛化能力的关键工具。当前研究聚焦于通过合成数据优化低资源语言的表征学习，特别是在编程语言与自然语言的混合表征分析方面取得突破。该数据集支持的前沿方向包括多模态量化感知训练、语言无关的嵌入空间对齐，以及针对边缘设备的高效模型压缩。热点应用涵盖多语言代码生成模型的动态量化、跨语言语义相似性计算，以及新兴的神经架构搜索与自适应量化策略联合优化。其合成数据生成范式为缓解数据稀缺语言的标注瓶颈提供了可复现的解决方案，对推动全球化AI部署具有显著意义。