隨著 ChatGPT 驚艷的首年即將落幕，生成式人工智能（genAI）與大型語言模型（LLM）無疑已成為引人矚目的技術焦點。然而，在企業(yè)的黃金時期，它們是否已具備投入使用的能力呢？ChatGPT 所遭遇的挑戰(zhàn)眾所周知，其在回答問題時的準確性尚待提高。盡管 ChatGPT 基于如 GPT-4 般復雜的人類知識計算機模型，但它卻鮮少坦誠自己的不足，此現(xiàn)象被譽為人工智能幻覺。此外，在邏輯推理方面，ChatGPT 也常常顯得力不從心。當然，這源于 ChatGPT 并不具備推理能力——它僅如同一款高級文本自動補全工具。

用戶或許難以接受這一事實。然而，GPT-4 這一智能系統(tǒng)令人印象深刻：它能夠參與模擬律師資格考試，并以排名前 10% 的成績脫穎而出。利用這樣一個強大的工具來探尋企業(yè)知識庫，無疑充滿著誘惑。然而，我們既需避免它過于自信，也需防止它過于愚蠢。 為了解決這些問題，三種有力的新方法應運而生，它們?yōu)樘嵘煽啃蕴峁┝丝赡堋ｋm然這些方法的關注點或許各有側重，但它們皆圍繞一個基本理念：將 LLM 視為一個 "封閉的盒子"。換言之，關鍵不在于精益求精地完善 LLM 本身（盡管人工智能工程師仍在不斷優(yōu)化其模型），而在于構建一個事實核查層以支撐 LLM。這一層旨在過濾掉錯誤答案，并為系統(tǒng)注入 "常識"。 讓我們逐一探尋它們是如何實現(xiàn)這一目標的。

矢量搜索技術的能力

矢量搜索技術的廣泛應用，已成為眾多數(shù)據(jù)庫的鮮明特色，其中包括部分專為矢量而生的數(shù)據(jù)庫。矢量數(shù)據(jù)庫的誕生，旨在為文本、圖像等非結構化數(shù)據(jù)打造高效索引，將其在高維空間中進行精確搜索、深度檢索和高效接近。比如，在搜索“蘋果”一詞時，或許能找到關于水果的資訊，而在“矢量空間”的周邊，卻可能涌現(xiàn)出科技企業(yè)或音樂公司的相關信息。

矢量，已然成為人工智能領域的實用黏合劑。我們得以利用它們，將數(shù)據(jù)庫與LLM等組件中的數(shù)據(jù)點緊密關聯(lián)，而不僅僅是將它們視為訓練機器學習模型的數(shù)據(jù)庫關鍵字。在這個探索與發(fā)現(xiàn)的旅程中，矢量搜索能力拓寬了我們的視野，讓數(shù)據(jù)間的聯(lián)系更加豐富多彩，為人工智能的發(fā)展注入無限生機。

檢索增強生成

檢索增強生成（Retrieval-augmented generation，簡稱 RAG）作為一種精湛方法，在與大型語言模型（LLM）的交互中融入上下文，日益受到業(yè)界矚目。本質上，RAG 通過對數(shù)據(jù)庫系統(tǒng)進行深度檢索，使得本地語言機制的回應緊貼上下文，從而讓回應更加貼切。上下文數(shù)據(jù)可以包括諸如時間戳、地理位置、參考資料和產(chǎn)品 ID 等元數(shù)據(jù)，理論上甚至可以實現(xiàn)任意復雜的數(shù)據(jù)庫查詢結果。

這一系列背景信息有助于整個系統(tǒng)輸出更為精確且相關的回應。RAG 之精髓在于從數(shù)據(jù)庫中獲取特定主題的最精確、最新信息，進而優(yōu)化模型回應。相較于 GPT-4 神秘的內(nèi)部運作，若 RAG 成為業(yè)務 LLM 的基石，業(yè)務用戶將可更為透明地了解系統(tǒng)是如何推導出所提供的答案。 倘若底層數(shù)據(jù)庫具備矢量功能，LLM 的回應（包括嵌入式矢量）便可應用于數(shù)據(jù)庫中相關數(shù)據(jù)的檢索，從而提升回應的準確性。

知識圖譜的力量

然而，即便在最先進的矢量和 RAG 增強搜索功能的助力下，ChatGPT 在關鍵任務領域的可靠性仍待提升。矢量作為一種數(shù)據(jù)編目方式，并非最豐富的數(shù)據(jù)模型，而知識圖譜卻以其獨特魅力，成為 RAG 首選數(shù)據(jù)庫。

知識圖譜，一個由相互關聯(lián)的信息編織而成的語義豐富網(wǎng)絡，將多元維度融匯于單一數(shù)據(jù)結構，如同網(wǎng)絡為人類所做的那樣，展現(xiàn)出強大的整合能力。得益于知識圖譜透明、編輯過的內(nèi)容，其質量得以保障，成為信息時代的堅實基石。

我們還可借助向量將 LLM 與知識圖譜緊密相連。當向量解析為知識圖譜中的一個節(jié)點時，圖譜的拓撲結構便能發(fā)揮作用，進行事實核查、近似搜索和一般模式匹配，確保傳遞給用戶的信息準確無誤。

知識圖譜的應用遠不止此。華盛頓大學的人工智能研究員 Yejin Choi 教授正積極探索一新概念，備受比爾·蓋茨贊譽。崔教授及其團隊構建了一個由機器編寫的知識庫，通過提問與一致通過的答案篩選，助 LLM 優(yōu)選知識。

Choi 教授的研究采用了一種名為“批判者”的人工智能，它擅長探測 LLM 的邏輯推理，構建一個僅包含優(yōu)質推理和事實的知識圖譜。假如你問 ChatGPT（3.5），在太陽下曬干五件襯衫需要多長時間，這是一個明顯的推理不足例子。常識告訴我們，無論衣物數(shù)量，晾干時間都應為一小時，但人工智能卻試圖用復雜數(shù)學解決，甚至展示其錯誤的工作原理以證明方法正確！

盡管人工智能工程師們不斷努力改進（ChatGPT 4 也不例外），Choi 教授的方法仍為通用解決方案提供了可能。尤其值得一提的是，該知識圖譜進一步助力 LLM 訓練，盡管體積較小，但準確率卻大幅提升。

重構語境

我們見證了知識圖譜憑借 RAG 賦予的更為豐富的上下文與結構，進而強化了 GPT 系統(tǒng)的卓越性能。此外，證據(jù)表明，企業(yè)通過結合基于向量和圖的語義搜索（知識圖譜的近義詞）的應用，能夠持續(xù)獲得高精度成果。

借助向量、RAG 和知識圖譜的支持，大型語言模型的架構得以煥發(fā)活力，為企業(yè)帶來豐厚價值，而無需專業(yè)知識去構建、訓練和微調(diào) LLM。這是一套綜合策略，使我們得以借助計算機（LLM）更為基礎的“理解”，深化對概念豐富、上下文的把握。顯然，企業(yè)因此受益匪淺。圖表的魅力在于解答了核心問題：數(shù)據(jù)中的關鍵要素是什么？哪些是非同尋常的？更重要的是，根據(jù)數(shù)據(jù)模式，圖表能夠預測未來走向。

這一事實能力與 LLMs 的生成元素相輔相成，令人信服地展現(xiàn)廣泛適用性。展望邁向 2024 年的征程，我預言這種將 LLM 轉變?yōu)殛P鍵業(yè)務工具的強力策略必將得到廣泛認可。

作者 | Jim Webber

來源 | 3 technologies coming to generative AI’s aid in 2024 | InfoWorld