MWP-Instruct

github2024-05-17 更新2024-05-31 收录

下载链接：

https://github.com/yongzhuo/LLM-SFT

下载链接

链接失效反馈

官方服务：

资源简介：

数学指令数据集MWP-Instruct，用于支持中文大模型微调，包含多步计算和一/二元解方程的数据。

The mathematical instruction dataset MWP-Instruct is designed to support fine-tuning of Chinese large language models. It includes data for multi-step calculations and solving one/two-variable equations.

创建时间：

2023-06-12

原始信息汇总

数据集概述

数据集名称

LLM-SFT

支持的模型

ChatGLM
LlaMA
Bloom
Baichuan-7B

支持的技术

LoRA
QLoRA
DeepSpeed
UI
TensorboardX

功能支持

微调
推理
测评
接口

微调数据来源

原始数据来自 https://github.com/LYH-YF/MWPToolkit
处理后的微调数据来自 https://huggingface.co/datasets/Macropodus/MWP-Instruct
大数加减乘除数据来自 https://github.com/liutiedong/goat.git

微调样例

地址: llm_sft/ft_chatglm
配置: llm_sft/ft_chatglm/config.py
训练: python train.py
推理: python predict.py
验证: python evaluation.py
接口: python post_api.py

环境配置

主要依赖:
- transformers>=4.26.1
- torch>=1.10.1
- peft>=0.2.0
QLoRA特定依赖:
- transformers>=4.30.0.dev0
- accelerate>=0.20.0.dev0
- bitsandbytes>=0.39.0
- peft>=0.4.0.dev0
- torch>=1.13.1

数据集-中文

免责申明

本项目相关资源仅供学术研究之用，严禁用于商业用途。
使用涉及第三方代码的部分时，请严格遵循相应的开源协议。
模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目不对其准确性作出保证。
对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。

搜集汇总

数据集介绍

构建方式

MWP-Instruct数据集的构建基于多源数据整合，原始数据来源于多个公开的数学问题解决工具包和大型语言模型微调项目。通过对这些数据进行处理和整合，形成了包含多步计算和一/二元解方程的微调数据集。数据集的构建过程不仅考虑了数据的多样性，还确保了数据的质量和适用性，以支持中文大模型的微调任务。

使用方法

使用MWP-Instruct数据集进行模型微调时，用户可以通过配置文件进行参数设置，并使用提供的训练、推理、验证和接口脚本进行操作。具体步骤包括：首先，根据需求配置llm_sft/ft_chatglm/config.py文件；其次，运行python train.py进行模型训练；训练完成后，可使用python predict.py进行推理，或通过python evaluation.py进行模型验证。此外，python post_api.py脚本提供了接口服务，便于集成和应用。

背景与挑战

背景概述

MWP-Instruct数据集是由Macropodus团队创建，旨在支持中文大模型的微调任务。该数据集结合了多步计算和一/二元解方程的数学问题，专门用于提升模型在复杂数学推理任务中的表现。其核心研究问题是如何通过微调技术优化大型语言模型在中文数学问题上的性能，这对于教育科技和智能辅导系统的发展具有重要意义。MWP-Instruct的创建不仅丰富了中文自然语言处理领域的资源，还为相关研究提供了新的实验平台。

当前挑战

MWP-Instruct数据集在构建和应用过程中面临多项挑战。首先，微调过程中如何平衡模型的泛化能力和特定领域性能是一个关键问题，过度微调可能导致性能下降。其次，数据集的构建需要处理复杂的数学问题，确保数据的多样性和代表性，这对数据处理技术提出了高要求。此外，训练过程中的硬件资源需求和计算效率也是一大挑战，特别是在使用QLoRA等技术时，需要高性能的GPU支持。

常用场景

经典使用场景

MWP-Instruct数据集在自然语言处理领域中，主要用于中文大模型的微调任务。其经典使用场景包括对ChatGLM、LlaMA、Bloom等大型语言模型的进一步优化，特别是在多步计算和一/二元解方程等数学问题的处理上。通过该数据集的微调，模型能够更准确地理解和生成与数学相关的自然语言表达，从而提升在教育、科研等领域的应用效果。

解决学术问题

MWP-Instruct数据集解决了中文大模型在处理复杂数学问题时的性能瓶颈。传统的模型在面对多步计算和方程求解时，往往表现出理解不足或生成错误的问题。该数据集通过提供高质量的微调数据，帮助模型更好地学习数学问题的结构和逻辑，从而显著提升了模型在数学领域的准确性和鲁棒性。这一进展对于推动自然语言处理技术在教育、科研等领域的应用具有重要意义。

实际应用

MWP-Instruct数据集在实际应用中展现出广泛的前景，特别是在教育科技和智能辅导系统中。通过微调后的模型，可以为学生提供个性化的数学问题解答和学习建议，帮助他们更高效地掌握数学知识。此外，该数据集还可应用于科研领域，支持自动化数学问题生成和解答，为研究人员提供强大的工具支持。这些应用不仅提升了教育资源的可及性，也为科研工作带来了新的可能性。

数据集最近研究