Marchanjo/spider-es

mRAT-SQL是一个多语言的自然语言到SQL查询的翻译工具，通过数据库模式剪枝技术来改进自注意力机制，支持英语、葡萄牙语、西班牙语和法语四种语言。mRAT-SQL+GAP则专注于葡萄牙语的文本到SQL翻译，使用了多语言BART模型，并在英语和葡萄牙语的训练数据集上进行了微调。两个项目都提供了源代码、评估和模型检查点。

原始信息汇总

mRAT-SQL-FIT

多语言SQL翻译器与数据库模式修剪以改进自注意力机制

Marcelo Archanjo Jose, Fabio Gagliardi Cozman

概述

在Transformer的背景下，长文本序列由于自注意力机制的二次内存增加而具有挑战性。这一问题直接影响自然语言到SQL查询的翻译（通常将问题和数据库模式连接作为输入）。我们提出了一种训练过程，通过数据库模式修剪（移除对查询无用的表和列名）来处理长达512个输入令牌的长文本序列。此外，我们采用多语言方法，使用mT5-large模型在四种语言（英语、葡萄牙语、西班牙语和法语）上同时进行数据增强的Spider数据集微调。我们的技术使用Spider数据集，并在验证数据集（Dev）上将精确集合匹配准确率从0.718提高到0.736。

资源

• 源代码、评估和检查点可在mRAT-SQL获取。
• 相关论文发表于Springer-Nature - International Journal of Information Technology。

mRAT-SQL+GAP

葡萄牙语文本到SQL的Transformer

Marcelo Archanjo José, Fabio Gagliardi Cozman

概述

自然语言问题到SQL查询的翻译引起了越来越多的关注，特别是在与Transformer和类似语言模型相关的领域。许多技术面向英语语言；在这项工作中，我们研究了当输入问题以葡萄牙语给出时的翻译。为此，我们适当调整了最先进的工具和资源。我们通过依赖多语言BART模型（我们报告了与其他语言模型的测试）修改了RAT-SQL+GAP系统，并生成了Spider数据集的翻译版本。我们的实验揭示了当目标为非英语语言时出现的感兴趣现象；特别是，即使只希望针对单一目标语言，与原始和翻译训练数据集一起训练更好。这个多语言BART模型与双倍大小的训练数据集（英语和葡萄牙语）微调，为葡萄牙语测试数据集实现了83%的基线，进行推理。

资源

• 相关论文发表于Springer Lecture Notes in Computer Science。
• 基于RAT-SQL+GAP: Github。相关论文: AAAI 2021 paper。