實(shí)時(shí)矢量搜索如何徹底改變各行各業(yè)?
譯文譯者 | 布加迪
審校 | 重樓
實(shí)時(shí)分析技術(shù)已經(jīng)鞏固了其作為眾多行業(yè)的基石這一地位。另外,生成式AI具有的魅力吸引了廣泛的關(guān)注,創(chuàng)新的解決方案有望為從娛樂到醫(yī)療保健的各個(gè)行業(yè)領(lǐng)域提供前所未有的洞察力。使用生成式AI方法與眾多實(shí)時(shí)分析技術(shù)的融合帶來了顯著的協(xié)同效應(yīng)。它使組織能夠在機(jī)會(huì)稍縱即逝的情況下發(fā)現(xiàn)隱藏的洞察力。
美國前首席數(shù)據(jù)科學(xué)家、領(lǐng)英前首席科學(xué)家DJ Patil表示,若要充分利用生成式AI的潛力,就必須開發(fā)專注于快速處理數(shù)據(jù)的能力。
Patil說:“我們今天在大語言模型(LLM)方面看到的大多數(shù)東西都是低速數(shù)據(jù),非常靜態(tài),沒有更新過。我認(rèn)為,在接下來的24個(gè)月里,我們會(huì)在這方面看到進(jìn)展。”
圖1. 矢量嵌入是某個(gè)對(duì)象的數(shù)值表示
生成式AI的核心革命性技術(shù)之一是矢量數(shù)據(jù)庫。它們好比是精心組織的信息集合,將模式匹配提升到新的高度。矢量嵌入是一種組織數(shù)據(jù)的方法,因而更容易找到不同數(shù)據(jù)之間的相似性和關(guān)系。到目前為止,矢量數(shù)據(jù)庫受制于過時(shí)的歷史數(shù)據(jù)。ChatGPT的用戶熟悉這一點(diǎn):它對(duì)2021年9月之后創(chuàng)建的任何信息都一無所知。
為了完全認(rèn)識(shí)到實(shí)時(shí)生成式AI的巨大潛力,我們需要改變觀點(diǎn),不再狹隘地認(rèn)為生成式AI局限于音樂、視覺藝術(shù)和散文等創(chuàng)造性領(lǐng)域。雖然這些藝術(shù)應(yīng)用無疑展示了這項(xiàng)技術(shù)具有的能力,但生成式AI的應(yīng)用范圍遠(yuǎn)不止這些領(lǐng)域。在來自傳感器和機(jī)器的快速移動(dòng)數(shù)據(jù)對(duì)決策至關(guān)重要的眾多領(lǐng)域,它都能起到優(yōu)化作用。
實(shí)時(shí)生成式AI將如何改變企業(yè)的運(yùn)營方式?在金融服務(wù)業(yè),我認(rèn)為我們將看到實(shí)時(shí)矢量搜索徹底改變欺詐檢測和風(fēng)險(xiǎn)評(píng)估。通過將歷史交易數(shù)據(jù)和客戶配置文件編碼為矢量,您可以對(duì)照已知的欺詐行為模式快速匹配交易。這將能夠立即識(shí)別可疑活動(dòng),從而縮短反應(yīng)時(shí)間并減少經(jīng)濟(jì)損失。
此外,風(fēng)險(xiǎn)評(píng)估模型將利用實(shí)時(shí)矢量嵌入來提供對(duì)市場狀況的最新評(píng)估,從而優(yōu)化投資決策。不妨以投資銀行使用VWAP為例,VWAP的全稱是交易量加權(quán)平均價(jià)格,充當(dāng)一種技術(shù)分析工具,以揭示資產(chǎn)價(jià)格與其總交易量之間的關(guān)系。它為交易員和投資者提供了一種評(píng)估股票在特定時(shí)間段內(nèi)交易的平均價(jià)格的方法。
不妨把VWAP看作一個(gè)潛在的矢量嵌入,每支股票都有相應(yīng)的矢量嵌入,涉及每個(gè)交易柜臺(tái)和多個(gè)時(shí)間窗口,導(dǎo)致每天創(chuàng)建數(shù)千個(gè)矢量嵌入。現(xiàn)在考慮VWAP只是用于實(shí)時(shí)做出買入或賣出決定的數(shù)十個(gè)財(cái)務(wù)指標(biāo)之一,需要更多的矢量嵌入。如果每只股票都保持大量定期更新的矢量嵌入以反映市場狀況,它將揭示金融領(lǐng)域前所未有的模式和機(jī)會(huì)。比如說,“告訴我未來五天內(nèi)最有可能突破上漲的三只股票”。
物流是另一個(gè)很可能迎來變化的領(lǐng)域,生成式AI可與來自車輛、集裝箱、倉庫、輸送系統(tǒng)和包裝系統(tǒng)等的豐富傳感器讀數(shù)相結(jié)合。通過持續(xù)分析動(dòng)態(tài)條件,企業(yè)可以優(yōu)化路線規(guī)劃、縮短交貨時(shí)間、盡量減少損壞,并降低庫存持有成本。它不僅將簡化物流,還將使組織具備迅速響應(yīng)不可預(yù)見的中斷所需的敏捷性。
實(shí)時(shí)矢量搜索在國防應(yīng)用中大有潛力,特別是在威脅搜索和情報(bào)分析方面。在這種情況下,矢量嵌入可以表示雷達(dá)標(biāo)記、衛(wèi)星圖像或截獲的通信模式等特征。實(shí)時(shí)矢量搜索系統(tǒng)會(huì)迅速將傳入的數(shù)據(jù)與已知威脅和異常的綜合數(shù)據(jù)庫進(jìn)行比較。這將使軍事和安全人員能夠迅速查明潛在的威脅,比如新的空中監(jiān)視機(jī)或可疑的部隊(duì)動(dòng)向,并據(jù)此做出明智的決定。
任何已經(jīng)受益于實(shí)時(shí)分析的行業(yè)都會(huì)發(fā)現(xiàn),模式匹配方面的這一突破將把現(xiàn)有的用例提升到一個(gè)新的水平。在零售業(yè),模式匹配通過將顧客偏好與可售產(chǎn)品相匹配,使推薦系統(tǒng)更加準(zhǔn)確。在汽車業(yè),它將通過實(shí)時(shí)識(shí)別物體和道路狀況來改善先進(jìn)的駕駛輔助系統(tǒng)。在制造業(yè),它將通過快速識(shí)別生產(chǎn)線上的瑕疵來優(yōu)化質(zhì)量控制。在能源業(yè),它將簡化電網(wǎng)管理和預(yù)測性維護(hù),以提高效率。在水電公用事業(yè)領(lǐng)域,它將加強(qiáng)基礎(chǔ)設(shè)施監(jiān)控,縮短停機(jī)時(shí)間,并確??煽康姆?wù)交付。
為了支持這些用例,關(guān)鍵的技術(shù)轉(zhuǎn)變是從面向批處理的矢量數(shù)據(jù)庫轉(zhuǎn)向實(shí)時(shí)矢量數(shù)據(jù)庫。我們看到了像英偉達(dá)的GPU矢量搜索框架這樣的創(chuàng)新,它為基于矢量嵌入的實(shí)時(shí)洞察鋪平了道路。
原文標(biāo)題:How Real-Time Vector Search Can Be a Game-Changer Across Industries,作者:Chad Meley