A comparative evaluation of retrieval-augmented generation and retrieval-augmented fine-tuning methods for SQL query generation
Abstract
Doğal dilden veri tabanı sorgusu yapmak, insanların teknik bilgi olmadan verilerle kolayca çalışabilmesini sağlar ve bilgiye ulaşma şeklini önemli ölçüde değiştirir. Bu bağlamda, büyük dil modellerinin (LLM) doğal dil girdilerinden SQL sorguları üretme konusundaki yetkinlikleri giderek daha fazla ilgi çekmektedir. Bu çalışmada, LLM’lerin bu görevdeki başarımı, geleneksel RAG (Retrieval-Augmented Generation) yaklaşımı ile RAFT (Retrieval-Augmented Fine-Tuning) yöntemi kullanılarak karşılaştırmalı olarak analiz edilmiştir. GPT-4o, Gemini-1.5-flash-001 ve Qwen2.5-14B-Instruct modelleri RAFT yöntemiyle ince ayar işlemine tabi tutulmuş; ardından her bir model, 1 ila 4 şemalı veritabanları üzerinde toplam 1.006 SQL sorgusu ile test edilmiştir. Model performansları, Exact Match (EX) skorları ile birlikte Tablo Benzerliği ve SQL Benzerliği ölçütleri üzerinden değerlendirilmiştir. Sonuçlar, RAFT yaklaşımı ile eğitilen GPT-4o modelinin %80 EX skoru, %92 tablo benzerliği ve %89 SQL benzerliği ile en yüksek başarıyı sağladığını; Gemini-1.5 modelinin ise %81 EX skoru ve %90+ yapısal benzerlik ile benzer düzeyde bir performans sergilediğini göstermektedir. Qwen2.5-14B modelinin EX skoru ise %63’te kalmıştır. Ayrıca, tüm modellerin RAFT ile eğitilmiş sürümleri, RAG temelli versiyonlarına kıyasla daha yüksek EX skoru elde etmiştir. Bu sonuçlar, RAFT yönteminin yalnızca bağlamsal doğruluğu değil, aynı zamanda yapısal tutarlılığı da güçlendiren etkili bir strateji olduğunu ortaya koymaktadır.
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.