mesolitica/chatgpt-malay-function-call

该数据集名为malay-function-call，主要使用马来语，旨在通过对话形式模拟函数调用，如获取新闻头条、生成密码和生成采购订单等。数据集包含两个文件，分别包含大量行数据，用于训练和测试对话系统中的函数调用功能。

原始信息汇总

马来语功能调用指令数据集

数据集概述

该数据集包含马来语的功能调用指令，原始数据来自 https://huggingface.co/datasets/glaiveai/glaive-function-calling-v2，感谢 https://github.com/aisyahrzk 和 https://github.com/KamarulAdha 找到最佳的提示来进化。数据集使用 ChatGPT3.5 生成，相关笔记本可在 https://github.com/mesolitica/malaysian-dataset/tree/master/chatbot/evol-function-call 找到。

数据文件

• function-calls.jsonl：包含 179450 行，大小为 200 MB。
• function-calls-complex.jsonl：包含 24986 行，大小为 27.8 MB。

示例数据

示例1

json { "function_call": "{ "name": "get_news_headlines", "description": "Dapatkan tajuk berita terkini", "parameters": { "type": "object", "properties": { "country": { "type": "string", "description": "Negara untuk mendapatkan berita" } }, "required": [ "country" ] } }", "conversations": [ { "role": "user", "content": "Bolehkah anda memberitahu saya tajuk berita terkini untuk Amerika Syarikat?" }, { "role": "assistant", "content": "<functioncall> {"name": "get_news_headlines", "arguments": "{"country": "Amerika Syarikat"}"}" }, { "role": "user", "content": "Itu menarik. Bagaimana pula dengan berita di Perancis?" }, { "role": "assistant", "content": "<functioncall> {"name": "get_news_headlines", "arguments": "{"country": "Perancis"}"}" } ] }

示例2

json { "function_call": "{ "name": "generate_password", "description": "Menghasilkan kata laluan rawak dengan kriteria yang ditetapkan", "parameters": { "type": "object", "properties": { "length": { "type": "integer", "description": "Panjang kata laluan" }, "include_numbers": { "type": "boolean", "description": "Termasuk nombor dalam kata laluan" }, "include_special_characters": { "type": "boolean", "description": "Termasuk karakter-karakter istimewa dalam kata laluan" } }, "required": [ "length" ] } }", "conversations": [ { "role": "user", "content": "Saya mahu ia panjang 12 aksara dan ya, ia patut termasuk kedua-dua nombor dan karakter istimewa." }, { "role": "assistant", "content": "<functioncall> {"name": "generate_password", "arguments": "{"length": 12, "include_numbers": True, "include_special_characters": True}"}" } ] }

示例3

json { "function_call": "{"name": "GeneratePurchaseOrder","description":"Fungsi ini digunakan untuk menghasilkan pesanan pembelian. Ia menerima maklumat produk, kuantiti, harga dan alamat penghantaran. Setiap produk perlu disertakan dengan kuantiti yang dikehendaki.","parameters":{"type":"object","properties":{"products":{"type":"array","items":{"type":"object","properties":{"product_name":{"type":"string","description":"Nama produk yang dipesan."},"quantity":{"type":"integer","description":"Kuantiti produk yang dikehendaki."},"price":{"type":"number","description":"Harga bagi satu unit produk."}},"required":["product_name","quantity","price"]}},"delivery_address":{"type":"string","description":"Alamat lengkap untuk penghantaran."}},"required":["products","delivery_address"]}}", "conversations": [ { "role": "user", "content": "Saya ingin membuat pesanan pembelian. Produk yang saya perlukan ialah:

1. T-shirt, kuantiti 5, harga 25.50
2. Kasut sukan, kuantiti 2, harga 80.00 Alamat penghantaran: No. 123, Jalan Merdeka, 68000 Ampang." }, { "role": "assistant", "content": "<functioncall> {name: GeneratePurchaseOrder, arguments: {products: [{product_name: T-shirt, quantity: 5, price: 25.5}, {product_name: Kasut sukan, quantity: 2, price: 80.0}], delivery_address: No. 123, Jalan Merdeka, 68000 Ampang}}" } ] }

搜集汇总

数据集介绍

构建方式

在自然语言处理与对话系统深度融合的背景下，函数调用能力成为大语言模型赋能实际应用的关键。mesolitica/chatgpt-malay-function-call数据集源自glaiveai/glaive-function-calling-v2，经由ChatGPT3.5模型进行演化生成。构建过程中，研究者精选最优提示模板，对原始数据进行马来语语境下的功能调用指令演化，最终形成两个核心子集：包含179,450条样本的function-calls.jsonl与涵盖24,986条复杂场景的function-calls-complex.jsonl。每条样本以JSON格式封装，包含函数定义（函数名、描述、参数结构及必填项）与多轮对话历史，对话中助手以<functioncall>标记触发具体函数调用，确保模型能理解并执行结构化指令。

特点

该数据集的核心特色在于其高度结构化的函数调用范式与马来语本土化适配。每个样本均明确声明函数接口（如get_news_headlines、generate_password等），参数类型涵盖字符串、整数、布尔值与嵌套对象，并严格标注必填字段，模拟真实API调用场景。对话设计遵循用户指令—助手响应—用户反馈的循环，展现多轮交互中函数调用的连贯性，例如从获取新闻到切换国家的自然过渡。复杂子集进一步引入数组参数、多重约束（如密码长度与字符类型组合）及复合对象（如订购单含产品列表与地址），提升任务难度与多样性，全面检验模型对参数解析、逻辑推理与上下文记忆的协同能力。

使用方法

使用该数据集时，研究者可直接加载JSONL文件，解析每条记录的function_call字段获取函数模板，并利用conversations字段中的角色轮换序列构建训练或评估样本。典型用法是将用户问题与历史对话拼接为输入，将助手回复（含<functioncall>标记）作为目标输出，微调模型以学习何时及如何生成正确的函数调用。数据集的马来语特性要求模型具备该语言的语义理解与参数抽取能力，适用于开发面向东南亚市场的智能助手、自动化客服或API编排系统。建议采用因果语言模型（如GPT或LLaMA架构）进行监督式微调，并结合函数参数验证机制以提升生成结果的可靠性。

背景与挑战

背景概述

在自然语言处理领域，函数调用（function calling）能力的引入标志着语言模型从单纯的文本生成向工具化、任务导向型智能体迈出了关键一步。mesolitica/chatgpt-malay-function-call数据集由马来西亚研究团队于2023年基于glaive-function-calling-v2演化构建，核心研究人员包括aisyahrzk和KamarulAdha等，旨在填补马来语在结构化函数调用指令数据上的空白。该数据集利用ChatGPT3.5生成，包含约20万条样本，覆盖从简单到复杂的函数调用场景，如新闻查询、密码生成和采购订单管理。其发布不仅推动了马来语大模型在任务执行与API交互领域的发展，也为低资源语言在多轮对话中集成外部工具提供了重要基准，对东南亚语言AI生态具有深远影响。

当前挑战

数据集当前面临的核心挑战包括：其一，领域问题层面，马来语函数调用需解决语言模型在理解复杂参数结构、多轮上下文追踪以及跨域工具选择上的精度不足，尤其当函数描述包含嵌套对象或条件约束时，模型易产生参数缺失或类型错误。其二，构建过程中，原始数据从英语函数调用指令通过提示演化生成马来语版本，面临翻译歧义与语义对齐难题，例如马来语中‘karakter istimewa’（特殊字符）与布尔参数‘include_special_characters’的映射可能丢失原意。此外，样本覆盖的领域有限，缺乏医疗、法律等垂直场景的定制化函数，导致泛化能力受限。数据规模虽大，但复杂函数调用仅占约2.5万条，难以充分训练模型应对高复杂度任务。

常用场景

经典使用场景

在自然语言处理与对话系统领域，mesolitica/chatgpt-malay-function-call数据集最为经典的使用场景是训练和评估马来语大语言模型的功能调用（Function Calling）能力。该数据集通过精心构造的多轮对话样本，将用户意图与外部API或工具调用精准关联，使模型能够理解并生成符合结构化函数签名的指令。例如，模型可依据用户查询“获取美国最新新闻标题”自动映射至get_news_headlines函数，并填充国家参数。这一范式对于构建能够自主调用外部服务的智能代理至关重要，尤其适用于资源稀缺的马来语生态，填补了该语言在工具增强型对话数据上的空白。

实际应用

在实际应用中，该数据集赋能马来语智能助手、企业级自动化系统及客服机器人等场景。例如，电商平台可基于此数据训练模型，使其理解诸如“订购5件T恤，单价25.50，送至吉隆坡”的指令，并自动调用GeneratePurchaseOrder函数生成采购订单。金融领域则可利用其实现账户查询或交易功能，如通过参数化接口完成密码重置。此外，该数据集支持多轮交互，允许用户连续追问不同国家的新闻，而模型能保持对话状态并正确调用API，从而提升交互的自然度与效率，降低人工干预成本。

衍生相关工作

该数据集衍生了一系列推动马来语NLP发展的经典工作。其源头可追溯至glaiveai/glaive-function-calling-v2，后者被马来语社区通过演化指令技术进行本地化适配，产生了包含179,450条样本的主数据集与24,986条复杂样本的增强版本。研究者进一步基于此开发了针对马来语的函数调用评估基准，并探索了ChatGPT3.5生成数据与开源模型微调之间的协同效应。相关成果包括马来语工具增强型对话系统的原型实现，以及跨语言函数调用迁移学习的实证分析，为东南亚语种的AI基础设施构建奠定了数据与方法论基础。