Marchanjo/spider-en-extra-3enr-1enb

mRAT-SQL项目是一个多语言的自然语言到SQL查询的翻译工具，通过数据库模式剪枝技术处理长文本序列，并在英语、葡萄牙语、西班牙语和法语上微调mT5-large模型。mRAT-SQL+GAP项目则专注于葡萄牙语的文本到SQL翻译，使用了多语言BART模型，并生成了Spider数据集的翻译版本。两个项目都提供了源代码、评估和模型检查点。

原始信息汇总

mRAT-SQL-FIT

多语言SQL翻译器与数据库模式剪枝以改进自注意力机制

Marcelo Archanjo Jose, Fabio Gagliardi Cozman

在变压器上下文中，长文本序列具有挑战性，因为自注意力机制会导致内存二次增加。由于这一问题直接影响自然语言到SQL查询的翻译（通常将问题和数据库模式的连接文本作为输入），我们提出了允许变压器处理长达512个输入令牌的长文本序列的技术。我们提出了一种训练过程，包括数据库模式剪枝（移除对查询无用的表和列名）。此外，我们使用了一个多语言方法，对mT5-large模型进行了数据增强的Spider数据集的微调，同时支持四种语言：英语、葡萄牙语、西班牙语和法语。我们提出的技术使用了Spider数据集，并在验证数据集（Dev）上将精确集合匹配准确率结果从0.718提高到0.736。源代码、评估和检查点可在mRAT-SQL获取。

mRAT-SQL+GAP

葡萄牙语文本到SQL的变压器

Marcelo Archanjo José, Fabio Gagliardi Cozman

自然语言问题到SQL查询的翻译引起了越来越多的关注，特别是在与变压器和类似语言模型相关的领域。许多技术都是针对英语语言的；在这项工作中，我们研究了当输入问题以葡萄牙语给出时的SQL翻译。为此，我们适当地调整了最先进的工具和资源。我们通过依赖多语言BART模型（我们报告了其他语言模型的测试）修改了RAT-SQL+GAP系统，并生成了Spider数据集的翻译版本。我们的实验揭示了当目标语言为非英语时出现的有趣现象；特别是，即使只希望针对单一目标语言，最好一起训练原始和翻译的训练数据集。这个多语言BART模型通过双倍大小的训练数据集（英语和葡萄牙语）进行了微调，对葡萄牙语测试数据集的推理达到了基线的83%。这一研究可以帮助其他研究人员在非英语语言中产生机器学习结果。我们的多语言就绪版本的RAT-SQL+GAP和数据是开源的，可在mRAT-SQL获取。