AQuilt
收藏资源简介：
AQuilt是一个用于从任何未标记数据中构建指令微调数据的高相关性数据综合框架，包括答案、问题、未标记数据、检查、逻辑和任务类型。该数据集包含703k个示例，用于训练一个强大的数据综合模型。实验表明，AQuilt的性能与DeepSeekV3相当，同时仅使用17%的生产成本。进一步分析表明，我们生成的数据与下游任务的相关性更高。
AQuilt is a high-relevance data synthesis framework for building instruction-tuning datasets from arbitrary unlabeled data. The generated datasets cover various elements including answers, questions, unlabeled input data, verification procedures, logical constraints, and task types. These datasets consist of 703k examples, which are used to train a robust data synthesis model. Experimental results demonstrate that AQuilt achieves performance on par with DeepSeekV3, while only requiring 17% of the production costs. Further analysis reveals that the data generated by AQuilt exhibits significantly higher relevance to downstream tasks.
AQuilt 数据集概述
1. 数据集简介
- 名称：AQuilt
- 用途：用于训练AQuilt模型的高质量领域特定数据合成框架
- 核心功能：自动合成高质量领域特定数据，支持逻辑推理和自我检查
2. 数据集内容
- 训练集：AQuilt_Trainingset
- 模型：AQuilt
- 评估LoRA：AQuilt_eval_lora
3. 数据格式
输入格式
- 纯文本文件，每行包含一个未标记的文本
- 示例： txt Direct pressure applied on the inner ear cannot …… the other group. We evaluate the outcome vesicoureteral reflux (VUR) in …… respectively (p>0.05).
输出格式
- JSON文件，包含结构化指令
- 示例： json [ { "context": "Direct pressure applied on the inner ear cannot …… the other group.", "task_type": "natural language inference", "qa_pair": { "question": "Does direct pressure applied on the inner ear during scuba diving induce hearing loss...", "thinking_steps": "1. Understand the Question...", "answer": "No" }, "analysis_steps": "1. The question is clear and specific...", "score": 4 } ]
4. 任务类型
- 支持的任务类型包括：
- 单选择题回答
- 多选择题回答
- 封闭式问题回答
- 开放式问题回答
- 文本摘要
- 文本生成
- 自然语言推理
- 文本分类
- 抽取式问题回答
- 自然语言理解
- 对应的中文版本
5. 使用说明
数据生成
- 使用
dataGen.py脚本从未标记文本生成合成指令数据 - 关键参数：
--model_path：AQuilt模型路径--eval_lora_path：自我检查LoRA适配器路径--eval：启用自我检查模式--input_file：输入文本文件--output_file：输出JSON文件--task_type：目标任务类型--language：任务语言（en/zh）
数据评估
- 使用
data_eval.py脚本评估合成数据质量 - 关键参数：
--model_path：AQuilt模型路径--eval_lora_path：自我检查LoRA适配器路径--data_path：合成数据路径--output_datapath：评估结果数据集路径
6. 实验
领域数据合成
- 使用
dataGen.sh脚本合成数据 - 支持的领域任务：
- ceval
- pubmedqa
- squadqa
- translation
- openend
模型训练
- 使用
train_llama3.sh脚本训练下游模型 - 需在
data_info.json中指定数据集路径
7. 引用
bash @misc{ke2025aquiltweavinglogicselfinspection, title={AQuilt: Weaving Logic and Self-Inspection into Low-Cost, High-Relevance Data Synthesis for Specialist LLMs}, author={Xiaopeng Ke and Hexuan Deng and Xuebo Liu and Jun Rao and Zhenxi Song and Jun Yu and Min Zhang}, year={2025}, eprint={2507.18584}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2507.18584}, }
