vi-gsm8k-agentic

Vietnamese Grade-School Math (Agentic Self-Instruct) 是一个高质量、原生越南语的小学数学应用题指令微调数据集，旨在解决现有越南语数学数据多依赖机器翻译、质量参差不齐的问题。该数据集采用一种受 Meta Autodata 启发的四子代理自指令管道生成，确保了内容的原生性和逻辑正确性。每个数据样本包含一个越南语数学问题、一个分步的链式思考推理过程、一个经过代码执行验证的最终数值答案，以及生成过程的元数据（如验证状态、难度评估、主题和来源种子）。数据集经过严格清洗，从1500个原始样本中最终保留了1465个高质量样本。实验表明，使用该数据集微调的模型在越南语GSM8K测试集（分布内）和SVAMP衍生测试集（分布外）上的表现均优于使用同等规模机器翻译数据训练的基线模型，尤其在分布外泛化能力上优势明显。该数据集适用于数学推理、指令跟随、链式思考生成等文本生成任务，并为越南语NLP研究和教育应用提供了宝贵资源。

Vietnamese Grade-School Math (Agentic Self-Instruct) is a high-quality, native Vietnamese instruction-tuning dataset for elementary school math word problems. Its core goal is to address the issue of existing Vietnamese math data often relying on machine translation and having inconsistent quality. The dataset is generated using a four-sub-agent self-instruct pipeline inspired by Meta Autodata, ensuring native content and logical correctness. Each data sample includes a Vietnamese math problem, a step-by-step chain-of-thought reasoning process, a final numerical answer verified through code execution, and metadata about the generation process (such as verification status, difficulty assessment, topic, and source seed). The dataset undergoes rigorous cleaning, retaining 1465 high-quality samples from an initial 1500 raw samples. Experiments show that models fine-tuned with this dataset outperform baseline models trained on equivalently sized machine-translated data on both the Vietnamese GSM8K test set (in-distribution) and the SVAMP-derived test set (out-of-distribution), with a particularly notable advantage in out-of-distribution generalization. The dataset is suitable for text generation tasks such as mathematical reasoning, instruction following, and chain-of-thought generation, providing a valuable resource for Vietnamese NLP research and educational applications.

搜集汇总

数据集介绍

构建方式

该数据集以越南语原生生成的小学数学应用题为核心，采用了一种创新的四智能体自指令构建流程。具体而言，一个确定性代码编排器协调四个大语言模型子智能体协同工作：挑战者负责依据种子问题、难度演化及越南语人设生成新问题及其预期数值答案；强求解器需正确解答以产生链式思考标签；弱求解器则被设定为无法正确求解，用以衡量问题难度；验证器通过代码执行验证答案正确性，并辅以大语言模型对推理过程进行评判。最终，仅保留强求解器通过、弱求解器失败、验证通过且非重复的样本，确保了数据集的高质量与原生性。

特点

该数据集最显著的特点在于其原生越南语属性与严格的自动质量验证机制，避免了机器翻译带来的语义失真。每个样本均包含代码可验证的数值答案、详尽的链式思考推理过程，以及难度评估与去重标记。数据清洗环节尤为严谨，通过规则过滤剔除逻辑错误样本，借助语义相似度与答案匹配双重检测精确去重，同时保留模板相同但数值不同的有效变体。实验结果表明，基于该数据集微调的模型在分布内与分布外测试集上分别超越机器翻译基线4.3%与6.6%，凸显了原生生成与智能验证在提升数学推理泛化能力上的优越性。

使用方法

该数据集适用于文本生成与指令微调任务，可直接用于训练或评估越南语大语言模型的数学推理能力。数据以JSON格式存储，每条样本包含问题、链式思考、最终答案及验证信息字段，用户可便捷地提取用于监督微调或零样本评测。推荐的微调策略可参照研究中的LoRA参数高效方法，在Qwen等模型上基于三种子实验进行验证。数据集基于MIT许可协议发布，并提供开源代码仓库供复现与扩展，用户在使用时需注意验证生成内容在关键场景下的可靠性，并引用原始Autodata研究论文及相关项目。

背景与挑战

背景概述

在自然语言处理与数学推理的交叉领域，高质量、非英语的指令微调数据集长期匮乏，尤其是越南语数学问题数据多依赖机器翻译，导致语义失真与泛化能力受损。为填补这一空白，vi-gsm8k-agentic数据集于2025年由研究者通过创新性的Agentic Self-Instruct方法构建，其核心研究问题在于：能否以原生语言自主生成具备代码验证答案与逐步推理链的小学数学问题，从而替代机器翻译方案。该数据集由四智能体协作管线驱动，灵感源自Meta的Autodata框架，并基于GSM8K种子数据进行难度演化，最终产出1465条高质量越南语数学题。其对领域的影响力体现在：微调实验表明，使用该数据集训练的Qwen3-4B模型在分布内与分布外测试集上分别超越机器翻译基线4.3%和6.6%，证明原生生成策略能显著提升数学推理的鲁棒性与跨分布泛化能力。

当前挑战

该数据集所解决的领域挑战是数学推理指令微调中数据质量与语言真实性的矛盾：机器翻译数据虽规模易得，却常引入错误逻辑、文化隔阂与语义偏差，导致模型在分布外场景下性能退化甚至低于基座模型。构建过程中遭遇多重技术挑战：首先，如何设计自演进机制确保生成问题在难度上循序渐进，且不泄露答案于题干中，为此引入弱求解器验证失败条件作为难度标尺；其次，答案验证需依赖代码执行而非法则匹配，结合LLM法官二次审查推理合理性，以抑制伪正确解；最后，去重环节需区分模板一致但数值不同的有效变体与真正重复项，采用语义嵌入与答案双重阈值法，将原始1500条数据精炼至1465条，在保留多样性的同时移除逻辑错误与信息泄漏样本。

常用场景

经典使用场景

在越南语数学推理领域，该数据集专为提升大语言模型在母语环境下的数学解题能力而设计。其核心使用场景是作为指令微调与链式思维推理的训练语料，通过包含代码验证的数值答案和逐步解题过程，使模型能够习得严谨的逻辑推导路径。研究人员可利用该数据集对预训练语言模型进行监督微调，显著增强其在越南语数学应用题上的零样本或少样本推理表现，尤其适用于评估模型在非英语语言上的数学泛化能力。

解决学术问题

该数据集直击低资源语言中数学推理数据稀缺且质量低下的痛点，尤其是越南语数学指令数据长期依赖机器翻译导致的语义失真和泛化能力退化问题。通过自主生成的越南语原生问题和代码验证的答案对齐机制，它解决了机器翻译数据损害模型分布外泛化能力的学术难题。实验表明，基于该数据集微调的模型在分布外测试集上性能超越基线，证明了原生数据能更好地保留模型固有的推理鲁棒性，为多语言数学推理研究提供了可靠的数据构建范式。

衍生相关工作

该数据集衍生出多项推动多语言数学推理发展的经典工作。其生成方法论继承并扩展了Autodata（arXiv:2606.25996）的四智能体自指导框架，为越南语等低资源语言引入了难度演化与验证循环机制。后续研究借鉴其代码执行验证流程，开发了针对其他语言（如泰语、印尼语）的数学数据集构建工具链。同时，该数据集的清洗策略——包括模板去重与答案泄露检测——被多篇多语言指令微调论文采纳为标准处理流程，深化了学术界对原生数据质量对泛化性能影响的理解。