谷歌 AI 推出 CardBench 評(píng)估框架:含 20 個(gè)真實(shí)數(shù)據(jù)庫,更全面評(píng)估基數(shù)估計(jì)模型
9 月 3 日消息,谷歌 AI 研究人員最新推出了 CardBench 基準(zhǔn),主要為學(xué)習(xí)型基數(shù)估計(jì)(cardinality estimation)滿足系統(tǒng)評(píng)估框架需求。
CardBench 基準(zhǔn)是個(gè)綜合評(píng)估框架,包含 20 個(gè)不同真實(shí)數(shù)據(jù)庫中的數(shù)千次查詢,大大超過了以往的任何基準(zhǔn)。
項(xiàng)目背景
基數(shù)估計(jì)(cardinality estimation,簡(jiǎn)稱 CE)是優(yōu)化關(guān)系數(shù)據(jù)庫查詢性能的關(guān)鍵,涉及預(yù)測(cè)數(shù)據(jù)庫查詢將返回的中間結(jié)果數(shù)量,直接影響查詢優(yōu)化器對(duì)執(zhí)行計(jì)劃的選擇。
對(duì)于選擇高效的連接順序、決定是否使用索引以及選擇最佳連接方法來說,準(zhǔn)確的卡入度估計(jì)至關(guān)重要。
這些決策會(huì)對(duì)查詢執(zhí)行時(shí)間和數(shù)據(jù)庫整體性能產(chǎn)生重大影響。不準(zhǔn)確的估計(jì)會(huì)導(dǎo)致糟糕的執(zhí)行計(jì)劃,從而大大降低性能,有時(shí)甚至?xí)档蛶讉€(gè)數(shù)量級(jí)。
現(xiàn)代數(shù)據(jù)庫系統(tǒng)中廣泛使用的基數(shù)估計(jì)技術(shù),依賴于啟發(fā)式(Heuristic)方法和簡(jiǎn)化模型,例如假設(shè)數(shù)據(jù)統(tǒng)一和列獨(dú)立。
這些方法雖然計(jì)算效率高,但往往需要準(zhǔn)確預(yù)測(cè)基數(shù),在涉及多個(gè)表和過濾器的復(fù)雜查詢中表現(xiàn)尤為明顯。
最新的數(shù)據(jù)驅(qū)動(dòng)方法試圖在不執(zhí)行查詢的情況下,對(duì)表內(nèi)和表間的數(shù)據(jù)分布進(jìn)行建模,從而減少了一些開銷,但在數(shù)據(jù)發(fā)生變化時(shí)仍需要重新訓(xùn)練。
盡管取得了這些進(jìn)步,但由于缺乏全面的基準(zhǔn),因此很難對(duì)不同的模型進(jìn)行比較,也很難評(píng)估它們?cè)诓煌瑪?shù)據(jù)集上的通用性。
CardBench
CardBench 能在各種條件下對(duì)學(xué)習(xí)到的基數(shù)模型進(jìn)行更全面的評(píng)估。該基準(zhǔn)支持三種關(guān)鍵設(shè)置:
- 基于實(shí)例的模型,即在單個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練;
- 零點(diǎn)模型,即在多個(gè)數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,然后在一個(gè)未見數(shù)據(jù)集上進(jìn)行測(cè)試;
- 微調(diào)模型,即進(jìn)行預(yù)訓(xùn)練,然后使用目標(biāo)數(shù)據(jù)集的少量數(shù)據(jù)進(jìn)行微調(diào)。
該基準(zhǔn)測(cè)試提供兩組訓(xùn)練數(shù)據(jù):一組用于具有多個(gè)篩選條件謂詞的單個(gè)表查詢,另一組用于涉及兩個(gè)表的二進(jìn)制聯(lián)接查詢。
該基準(zhǔn)測(cè)試包括 9125 個(gè)單表查詢和 8454 個(gè)二進(jìn)制連接查詢,適用于其中一個(gè)較小的數(shù)據(jù)集,從而確保為模型評(píng)估提供強(qiáng)大且具有挑戰(zhàn)性的環(huán)境。
例如,微調(diào)圖神經(jīng)網(wǎng)絡(luò)(GNN)模型在二進(jìn)制連接查詢中的 q-error 中位數(shù)為 1.32,第 95 百分位數(shù)為 120,明顯優(yōu)于零點(diǎn)模型。結(jié)果表明,即使是 500 次查詢,對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)也能大幅提高其性能。這使它們?cè)谟?xùn)練數(shù)據(jù)有限的實(shí)際應(yīng)用中變得可行。
總之,CardBench 代表了在學(xué)習(xí)的基數(shù)估計(jì)方面的重大進(jìn)步。研究人員可以通過提供全面、多樣的基準(zhǔn),系統(tǒng)地評(píng)估和比較不同的 CE 模型,從而促進(jìn)這一關(guān)鍵領(lǐng)域的進(jìn)一步創(chuàng)新。該基準(zhǔn)能夠支持需要較少數(shù)據(jù)和訓(xùn)練時(shí)間的微調(diào)模型,為訓(xùn)練新模型成本過高的實(shí)際應(yīng)用提供了切實(shí)可行的解決方案。
IT之家附上參考地址