AIAT/Pangpuriye-generated_by_typhoon

该数据集是由Typhoon API生成的，用于微调Pangpuriye的LLM。数据集包含16,125行的输入、指令和输出数据，其中每个模式都有自己的CSV文件作为输入，指令是Typhoon API接收的命令，输出是SQL代码。数据集旨在用作基于表格的问答LLM的微调指令，使用前需要一些处理。

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-2.0
• 任务类别: table-question-answering
• 语言: 泰语 (th), 英语 (en)
• 标签: code
• 名称: Thai-SQL_Question_generated_by_Typhoon
• 大小类别: 1K<n<10K

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data.json

内容

• 数据集包含: 16,125 行 input, instruction, 和 output
  • 输入: 每个模式有自己的 CSV 文件
  • 指令: Typhoon API 接收的命令
  • 输出: SQL 代码

用途

• 目的: 用于微调基于表格的 QA LLM 的指令
• 使用前处理: 需要一些处理才能在过程中使用

示例代码

• 使用 Typhoon API 的示例: python stream = client.chat.completions.create( model="typhoon-instruct", messages=[ { "role": "instruction", "content": """ Your task is to generate SQL plain-text schema Format: You wont explain or clarify your response. """, }, {"role": "user", "content": """Generate 1 random schema"""}, ], max_tokens=120, temperature=0.6, top_p=1, stream=False, )

• 使用 datasets 库加载数据集的示例: python from datasets import load_dataset

  dataset = load_dataset("AIAT/Pangpuriye-generated_by_typhoon")

致谢

• 数据集存储: Panguriyes house 成员在 Super AI Engineer Development Program Season 4 的 LLMs 黑客松期间共同存储
• 感谢组织者: OpenThaiGPT, AIAT, NECTEC, ThaiSC

引用信息

@misc{pipatanakul2023typhoon, title={Typhoon: Thai Large Language Models}, author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai}, year={2023}, eprint={2312.13951}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

在自然语言处理与数据库交互的交叉领域中，结构化查询语言（SQL）的自动生成任务日益受到关注。该数据集由Super AI Engineer Development Program第四赛季的Pangpuriye团队利用Typhoon API生成，旨在为泰语大语言模型提供微调所需的SQL指令数据。构建过程中，团队首先设计了多样化的数据库模式（Schema），并将其以CSV格式作为输入。随后，通过Typhoon API接收特定的指令（instruction），生成对应的SQL代码作为输出（output）。最终，数据集整合了16,125条包含input、instruction和output三元组的训练样本，形成了结构化的指令集。

使用方法

使用该数据集进行模型微调时，可通过HuggingFace的datasets库便捷加载。具体而言，开发者只需调用load_dataset('AIAT/Pangpuriye-generated_by_typhoon')即可获取训练集。在应用过程中，数据集中的instruction字段可作为模型的输入指令，output字段则作为目标SQL代码进行监督学习。建议结合Typhoon API的调用示例，将输入模式与指令组合后输入模型，以模拟真实问答场景。此外，用户可根据实际需求对数据进行预处理，如解析CSV模式或调整指令格式，以适配不同的微调框架与任务目标。

背景与挑战

背景概述

在自然语言处理领域，将自然语言查询转化为结构化查询语言（SQL）是表格问答任务的核心挑战之一，尤其在低资源语言场景下，数据匮乏严重制约了模型性能。AIAT/Pangpuriye-generated_by_typhoon数据集由泰国人工智能协会（AIAT）与OpenThaiGPT团队在2023年Super AI工程师发展计划第四季黑客马拉松期间联合创建，旨在利用Typhoon大语言模型API自动生成泰语与英语混合的SQL指令数据。该数据集包含16,125条训练样本，每条样本由输入模式、指令及对应SQL代码构成，专为微调基于表格的问答大语言模型而设计。其发布填补了泰语领域结构化查询数据集的空白，为泰语大语言模型在数据库交互、智能客服等实际应用中的落地提供了关键训练资源，推动了低资源语言自然语言处理技术的进步。

当前挑战

该数据集面临的核心挑战首先在于领域问题层面：表格问答任务要求模型精准理解自然语言查询的语义并生成正确的SQL语句，但泰语缺乏大规模标注的文本-SQL平行语料，导致模型在处理复杂查询（如多表联结、嵌套子查询）时泛化能力不足。其次，构建过程中遭遇多重困难：依赖单一Typhoon API生成数据可能导致模式多样性受限，且自动生成的SQL代码存在语法错误或逻辑偏差的风险；数据集仅包含单一训练集，缺乏验证与测试划分，难以评估模型过拟合程度；此外，16K条样本对于微调大规模语言模型仍显不足，且数据来源的版权限制（CC-BY-NC-2.0）可能影响其在商业场景中的进一步扩展应用。

常用场景

经典使用场景

该数据集专为基于表格的问答任务（Table Question Answering）而设计，尤其聚焦于泰语与英语混合场景下的SQL语句生成。其核心用途在于为大型语言模型提供精细化的指令微调（Instruction Fine-tuning）数据，使模型能够理解自然语言查询并输出对应的SQL代码。通过将结构化表格schema作为输入，配合明确的指令与预期输出，该数据集为训练具备跨语言、跨领域推理能力的文本到SQL（Text-to-SQL）模型提供了高质量的训练样本，是推动多语言表格理解与查询生成研究的重要基石。

解决学术问题

在学术研究中，该数据集直接回应了低资源语言（如泰语）在结构化数据查询任务中数据匮乏的挑战。传统Text-to-SQL数据集多集中于英语，而该作品通过利用Typhoon API自动生成大规模、多样化的泰语-英语混合指令数据，显著缓解了模型在泰语环境下对表格进行语义解析与逻辑推理的困难。它探索了大语言模型在低资源语言中生成结构化查询语句的潜力，为跨语言自然语言处理、多模态表格理解以及指令微调策略提供了新的实证基础，推动了多语言语义解析领域的边界拓展。

实际应用

在实际应用层面，该数据集可用于构建面向泰语用户的智能数据分析助手，使非技术用户能够通过自然语言直接查询数据库，例如在商业智能、教育管理或政务系统中快速获取表格中的关键信息。此外，它还可集成至对话式AI客服系统，帮助用户通过泰语指令实时检索产品库存、财务报表或学术文献元数据。在软件开发中，该数据集可作为自动化代码生成工具的训练资源，辅助生成与数据库交互的SQL查询，提升开发效率并降低人工编写错误。

数据集最近研究

最新研究方向

当前，该数据集聚焦于利用生成式大语言模型（如Typhoon API）自动化构建泰语-英语双语的表格问答指令数据集，以微调面向特定领域的语言模型。前沿研究正深入探索如何通过结构化SQL指令生成、多语言指令对齐以及低资源语言（如泰语）的语义理解，提升模型在复杂表格推理任务中的表现。该数据集源于Super AI Engineer Development Program Season 4黑客松，其生成方式体现了大模型在数据增强与合成训练样本中的实际应用潜力，对推动泰语自然语言处理技术、降低非英语语言模型开发门槛具有重要示范意义，也为跨语言表格问答系统的性能优化提供了关键基础资源。