Marchanjo/spider-FIT-en-pt-es-fr-extra-3enr-3ptr-3esr-3frr

mRAT-SQL-FIT是一个多语言SQL翻译器，通过数据库模式剪枝技术处理长文本序列，使用mT5-large模型在英语、葡萄牙语、西班牙语和法语上进行了微调。mRAT-SQL+GAP则是一个专注于将葡萄牙语的自然语言问题翻译成SQL查询的Transformer模型，使用了多语言BART模型，并在Spider数据集上进行了训练和测试。两个项目都提供了源代码、评估和检查点。

原始信息汇总

mRAT-SQL-FIT

A Multilingual Translator to SQL with Database Schema Pruning to Improve Self-Attention

Marcelo Archanjo Jose, Fabio Gagliardi Cozman

• 问题背景：在transformer的上下文中，长文本序列具有挑战性，因为自注意力机制会导致内存增加。这一问题直接影响自然语言到SQL查询的翻译，因为通常技术会将问题和数据库模式连接作为输入。
• 解决方案：提出了一个训练过程，通过数据库模式修剪（移除对查询无用的表和列名）来处理长文本序列，最多可达512个输入令牌。
• 模型与数据集：使用了多语言方法，基于mT5-large模型，通过数据增强的Spider数据集在四种语言（英语、葡萄牙语、西班牙语和法语）上同时进行微调。
• 性能提升：在验证数据集（Dev）上，精确匹配准确率从0.718提高到0.736。
• 资源：源代码、评估和检查点可在mRAT-SQL获取。

mRAT-SQL+GAP

mRAT-SQL+GAP: A Portuguese Text-to-SQL Transformer

Marcelo Archanjo José, Fabio Gagliardi Cozman

• 研究背景：自然语言问题到SQL查询的翻译引起了越来越多的关注，特别是在与transformer和类似语言模型相关的领域。许多技术面向英语语言，本研究探讨了当输入问题为葡萄牙语时的翻译。
• 方法：通过依赖多语言BART模型（报告了与其他语言模型的测试），并制作了Spider数据集的翻译版本，对RAT-SQL+GAP系统进行了适当调整。
• 实验发现：当目标为非英语语言时，使用原始和翻译的训练数据集一起训练效果更好，即使只针对单一目标语言。
• 性能：使用双倍大小的训练数据集（英语和葡萄牙语）进行微调的多语言BART模型，在葡萄牙语测试数据集上达到了基线的83%。
• 资源：多语言版本的RAT-SQL+GAP及其数据已开放源代码，可在mRAT-SQL获取。