01、概述

隨著人工智能技術(shù)的迅速發(fā)展，如何讓普通用戶輕松查詢復(fù)雜數(shù)據(jù)庫(kù)成為一個(gè)備受關(guān)注的課題。最近，阿里巴巴研究院推出了一項(xiàng)突破性技術(shù)——XiYan-SQL，它為自然語(yǔ)言到SQL（NL2SQL）的任務(wù)提供了全新解決方案。這項(xiàng)技術(shù)不僅提升了查詢的精確度，還實(shí)現(xiàn)了跨數(shù)據(jù)庫(kù)的高適配性，為大數(shù)據(jù)時(shí)代的信息挖掘帶來了新契機(jī)。

02、什么是NL2SQL？

NL2SQL是一種自然語(yǔ)言處理（NLP）技術(shù)，可以將人類的自然語(yǔ)言查詢轉(zhuǎn)化為結(jié)構(gòu)化查詢語(yǔ)言（SQL）語(yǔ)句。簡(jiǎn)單來說，它讓不懂編程的用戶也能像“對(duì)話”一樣與數(shù)據(jù)庫(kù)互動(dòng)，從復(fù)雜的數(shù)據(jù)中快速提取有用信息。例如，用戶輸入一句“查詢過去一周的銷售額”，系統(tǒng)就能生成相應(yīng)的SQL語(yǔ)句：

SELECT SUM(sales) FROM orders WHERE date > CURRENT_DATE - INTERVAL 7 DAY;

這項(xiàng)技術(shù)廣泛應(yīng)用于金融、醫(yī)療、零售等領(lǐng)域，在提升工作效率和決策能力方面起到了重要作用。然而，現(xiàn)有方法在生成SQL時(shí)，往往難以兼顧精確度與通用性。XiYan-SQL正是為了解決這一核心痛點(diǎn)應(yīng)運(yùn)而生。

03、當(dāng)前NL2SQL技術(shù)的難題

盡管NL2SQL的潛力巨大，但在實(shí)際應(yīng)用中仍面臨以下挑戰(zhàn)：

• 查詢精確度與適配性的平衡：傳統(tǒng)方法要么生成高度精確的SQL，但在多種數(shù)據(jù)庫(kù)結(jié)構(gòu)中表現(xiàn)有限；要么嘗試通用性，但生成的SQL不夠準(zhǔn)確。
• 計(jì)算資源的限制：許多方法依賴大型語(yǔ)言模型（LLM）進(jìn)行多次輸出篩選，計(jì)算負(fù)擔(dān)過重，不適合實(shí)時(shí)應(yīng)用。
• 跨領(lǐng)域適配能力不足：現(xiàn)有框架往往在訓(xùn)練的特定領(lǐng)域表現(xiàn)優(yōu)秀，但面對(duì)未見過的數(shù)據(jù)庫(kù)或復(fù)雜查詢時(shí)顯得力不從心。

為解決上述問題，阿里巴巴研究團(tuán)隊(duì)綜合了最新的技術(shù)成果，設(shè)計(jì)出XiYan-SQL，通過全新框架實(shí)現(xiàn)了精確度、適配性與高效性的統(tǒng)一。

04、XiYan-SQL的技術(shù)亮點(diǎn)

XiYan-SQL的核心創(chuàng)新體現(xiàn)在其多生成器集成框架和先進(jìn)的半結(jié)構(gòu)化模式表示方法（M-Schema）上，具體包括以下幾點(diǎn)：

1. 半結(jié)構(gòu)化模式表示（M-Schema）

傳統(tǒng)SQL生成系統(tǒng)常因無法理解數(shù)據(jù)庫(kù)的復(fù)雜層次結(jié)構(gòu)而出錯(cuò)。為此，XiYan-SQL引入了M-Schema，通過整合關(guān)鍵數(shù)據(jù)元素（如數(shù)據(jù)類型、主鍵和示例值），提升了對(duì)數(shù)據(jù)庫(kù)結(jié)構(gòu)的理解能力。

• 層次結(jié)構(gòu)識(shí)別：通過識(shí)別表與字段的關(guān)聯(lián)關(guān)系，優(yōu)化查詢邏輯。
• 減少冗余信息：僅保留關(guān)鍵屬性，大幅提高生成效率。這一創(chuàng)新不僅幫助系統(tǒng)生成更貼合上下文的SQL，還顯著減少了語(yǔ)法和邏輯錯(cuò)誤。

2. 多生成器集成策略

在SQL生成階段，XiYan-SQL結(jié)合了兩種生成器：

• 基于提示學(xué)習(xí)（ICL）的生成器：利用大語(yǔ)言模型（如GPT-4）生成多樣化SQL，提升語(yǔ)法和風(fēng)格的多樣性。
• 基于監(jiān)督微調(diào)（SFT）的生成器：通過任務(wù)優(yōu)化的小型模型，實(shí)現(xiàn)快速且高質(zhì)量的生成。兩者協(xié)同工作，使生成的SQL既具有多樣性，又能滿足復(fù)雜查詢需求。

3. 多層糾錯(cuò)與篩選機(jī)制

生成SQL只是第一步，確保生成結(jié)果的準(zhǔn)確性同樣重要。XiYan-SQL采用三階段糾錯(cuò)與篩選流程：

• 糾錯(cuò)模型：對(duì)初始生成的SQL進(jìn)行語(yǔ)法和邏輯錯(cuò)誤修復(fù)。
• 候選篩選：通過深度優(yōu)化的篩選模型，精確挑選最優(yōu)SQL。
• 綜合優(yōu)化：將邏輯一致性作為最終判斷標(biāo)準(zhǔn)，替代傳統(tǒng)的“自一致性策略”。

這一套機(jī)制有效提升了系統(tǒng)的魯棒性和準(zhǔn)確度。

05、性能測(cè)試

為了驗(yàn)證XiYan-SQL的表現(xiàn)，研究團(tuán)隊(duì)進(jìn)行了多項(xiàng)嚴(yán)格測(cè)試。以下是主要成果：

• Spider基準(zhǔn)測(cè)試：執(zhí)行準(zhǔn)確率高達(dá)89.65%，相比前沿模型大幅提升。
• SQL-Eval評(píng)測(cè)：取得69.86%的優(yōu)異成績(jī)，比前一代SQL-Coder-8B高出8個(gè)百分點(diǎn)。
• 非關(guān)系型數(shù)據(jù)庫(kù)測(cè)試（NL2GQL）：準(zhǔn)確率41.20%，創(chuàng)造了新紀(jì)錄。
• Bird開發(fā)集：表現(xiàn)接近最優(yōu)框架，準(zhǔn)確率達(dá)到72.23%，僅比最高記錄低不到1個(gè)百分點(diǎn)。

這一系列結(jié)果證明了XiYan-SQL在各種數(shù)據(jù)庫(kù)場(chǎng)景中的適配性和穩(wěn)定性。

06、關(guān)鍵優(yōu)勢(shì)總結(jié)

XiYan-SQL的卓越表現(xiàn)，源于其技術(shù)上的多重突破：

• 創(chuàng)新的數(shù)據(jù)庫(kù)模式表示：通過M-Schema，顯著提升了框架對(duì)復(fù)雜數(shù)據(jù)庫(kù)結(jié)構(gòu)的理解能力。
• 多樣化的SQL生成策略：多生成器協(xié)作，滿足不同場(chǎng)景的查詢需求。
• 嚴(yán)密的糾錯(cuò)與篩選機(jī)制：保障生成結(jié)果的精確性和一致性。
• 跨領(lǐng)域的適配能力：無論是關(guān)系型數(shù)據(jù)庫(kù)還是非關(guān)系型數(shù)據(jù)庫(kù)，均展現(xiàn)出色的適應(yīng)力。
• 領(lǐng)先的性能表現(xiàn)：多項(xiàng)基準(zhǔn)測(cè)試的優(yōu)異成績(jī)，充分體現(xiàn)了這一框架的技術(shù)實(shí)力。

07、結(jié)語(yǔ)

XiYan-SQL的發(fā)布，不僅代表了當(dāng)前NL2SQL領(lǐng)域的技術(shù)前沿，也為未來的數(shù)據(jù)庫(kù)交互方式指明了方向。隨著數(shù)據(jù)量的指數(shù)級(jí)增長(zhǎng)，能夠以自然語(yǔ)言快速提取信息的能力將變得至關(guān)重要。XiYan-SQL的成功表明，通過多技術(shù)整合與創(chuàng)新設(shè)計(jì)，可以有效克服現(xiàn)有框架的瓶頸。

未來，這一框架有望進(jìn)一步優(yōu)化，并廣泛應(yīng)用于智能助手、企業(yè)分析工具、數(shù)據(jù)可視化平臺(tái)等領(lǐng)域，讓數(shù)據(jù)查詢變得像聊天一樣簡(jiǎn)單。

參考：

1. ??https://arxiv.org/abs/2411.08599v1??
2. ??https://github.com/XGenerationLab/XiYan-SQL??

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/brQ2HagCbcgQn_9rdUA31A??