В данном исследовании модуль реляционного внимания интегрируется в предобученную модель Transformer Seq2Seq и осуществляется преобразование вопросов на естественном языке в команды извлечения на языке структурированных запросов (SQL) с помощью экспериментов на наборе данных Spider. Цель этой научной статьи состоит в том, чтобы улучшить точность и эффективность преобразования текста в SQL-запросы, используя механизм реляционного внимания в модели трансформера. Статья представляет модель RASAT (переход SQL на основе реляционного внимания), которая заменяет модуль самовращения в энкодере трансформера на модуль реляционного внимания для обработки задач текст-к-SQL. Этот подход позволяет лучше учитывать семантические связи между сущностями в тексте и генерировать более точные SQL-запросы. Методы исследования включают использование предобученной модели трансформера (T5-small) и ее обучение на наборе данных Spider с введением модуля реляционного внимания. Экспериментальные результаты показывают значительное улучшение показателей точности при преобразовании текста в SQL по сравнению с базовой моделью без реляционного компонента. Экспериментальные результаты демонстрируют, что модель RASAT улучшает производительность по показателю Exact Match на 1,82 % и точность выполнения на 3,26 %. Эти улучшения достигнуты несмотря на то, что количество эпох обучения было ограничено 500 вместо 3072 для базовой модели, что подчеркивает эффективность предложенного подхода даже при ограниченных вычислительных ресурсах. В заключение подчеркиваются перспективы дальнейшего развития метода реляционной модели для улучшения качества систем, связанных с обработкой естественного языка и базами данных.

relational attention module, pre-trained model, Transformer Seq2Seq, text to SQL conversion, Spider dataset, relational attention module, pre-trained model, Transformer Seq2Seq, text to SQL conversion, Spider dataset.