開源向量數(shù)據(jù)庫是 AI 開發(fā)領(lǐng)域最熱門的選擇之一，其中一些您可能已經(jīng)熟悉，甚至已經(jīng)擁有。

譯自Use Your Data in LLMs With the Vector Database You Already Have，作者 Chris Carter。

向量數(shù)據(jù)庫允許您使用來自內(nèi)部數(shù)據(jù)存儲的數(shù)據(jù)來增強(qiáng)您的 LLM 模型。使用本地的事實(shí)性知識提示 LLM 可以讓您獲得針對組織已經(jīng)了解的情況量身定制的響應(yīng)。這減少了“AI 幻覺”并提高了相關(guān)性。

您甚至可以詢問 LLM在其答案中添加對它使用的原始數(shù)據(jù)的引用，以便您自己檢查。毫無疑問，供應(yīng)商已經(jīng)推出了專有的向量數(shù)據(jù)庫解決方案，并將其宣傳為“魔杖”，可以幫助您消除任何 AI 幻覺的擔(dān)憂。

但是，準(zhǔn)備好一些好消息了嗎？

如果您已經(jīng)在使用Apache Cassandra 5.0、OpenSearch或PostgreSQL，那么您的向量數(shù)據(jù)庫成功已經(jīng)準(zhǔn)備就緒。沒錯：無需昂貴的專有向量數(shù)據(jù)庫產(chǎn)品。如果您還沒有使用這些免費(fèi)且完全開源的數(shù)據(jù)庫技術(shù)，那么您的生成式 AI 愿望是遷移的好時機(jī)——它們都是企業(yè)級的，并且避免了專有系統(tǒng)的陷阱。

對于許多企業(yè)來說，這些開源向量數(shù)據(jù)庫是實(shí)施 LLM 的最直接途徑——并且可能利用檢索增強(qiáng)生成 (RAG)——提供量身定制的事實(shí)性 AI 體驗(yàn)。

向量數(shù)據(jù)庫存儲嵌入向量，嵌入向量是表示與數(shù)據(jù)片段相對應(yīng)的空間坐標(biāo)的數(shù)字列表。相關(guān)數(shù)據(jù)將具有更接近的坐標(biāo)，允許 LLM 理解復(fù)雜和非結(jié)構(gòu)化數(shù)據(jù)集，以實(shí)現(xiàn)生成式 AI 響應(yīng)和搜索功能等功能。

RAG 是一種越來越受歡迎的過程，它涉及使用向量數(shù)據(jù)庫將企業(yè)文檔中的單詞轉(zhuǎn)換為嵌入，以便通過 LLM 對這些文檔進(jìn)行高效且準(zhǔn)確的查詢。

讓我們更詳細(xì)地了解每種開源技術(shù)為向量數(shù)據(jù)庫討論帶來了什么：

Apache Cassandra 5.0 提供原生向量索引

憑借其最新版本（目前處于預(yù)覽階段），Apache Cassandra 通過包含開發(fā) AI 應(yīng)用程序的企業(yè)所需的一切，增強(qiáng)了其作為特別高可用性和可擴(kuò)展的開源數(shù)據(jù)庫的聲譽(yù)。

Cassandra 5.0 添加了原生向量索引和向量搜索，以及用于嵌入向量存儲和檢索的新向量數(shù)據(jù)類型。新版本還添加了特定的 Cassandra 查詢語言 (CQL) 函數(shù)，使企業(yè)能夠輕松地將 Cassandra 用作向量數(shù)據(jù)庫。這些新增功能使 Cassandra 5.0 成為支持 AI 工作負(fù)載和執(zhí)行圍繞管理智能數(shù)據(jù)執(zhí)行企業(yè)戰(zhàn)略的明智開源選擇。

OpenSearch 提供多種優(yōu)勢

與 Cassandra 一樣，OpenSearch是另一種非常流行的開源解決方案，許多尋找向量數(shù)據(jù)庫的人恰好已經(jīng)在使用它。OpenSearch 為搜索、分析和向量數(shù)據(jù)庫功能提供了一站式服務(wù)，同時還提供卓越的最近鄰搜索功能，支持向量、詞法和混合搜索和分析。

使用 OpenSearch，團(tuán)隊(duì)可以加快開發(fā) AI 應(yīng)用程序的速度，依靠數(shù)據(jù)庫提供其已知的穩(wěn)定性、高可用性和最小延遲，以及擴(kuò)展到數(shù)十億個向量的可擴(kuò)展性。無論開發(fā)推薦引擎、生成式 AI 代理還是任何其他結(jié)果準(zhǔn)確性至關(guān)重要的解決方案，那些使用 OpenSearch 利用向量嵌入并消除幻覺的人都不會失望。

pgvector 擴(kuò)展使 Postgres 成為強(qiáng)大的向量存儲

企業(yè)對 Postgres 并不陌生，Postgres 是世界上使用最廣泛的數(shù)據(jù)庫之一。鑒于該數(shù)據(jù)庫只需要pgvector 擴(kuò)展就可以成為一個特別高效的向量數(shù)據(jù)庫，無數(shù)組織只需簡單地部署就可以利用理想的基礎(chǔ)設(shè)施來處理他們的智能數(shù)據(jù)。

pgvector 特別適合提供精確最近鄰搜索、近似最近鄰搜索和基于距離的嵌入搜索，以及通過使用余弦距離（OpenAI 推薦）、L2 距離和內(nèi)積來識別語義相似性。憑借這些功能的高效性，使得 pgvector 成為一個強(qiáng)大且經(jīng)過驗(yàn)證的開放源代碼選項(xiàng)，用于訓(xùn)練準(zhǔn)確的 LLM 和 RAG 實(shí)現(xiàn)，同時使團(tuán)隊(duì)能夠交付值得自豪的、值得信任的 AI 應(yīng)用程序。

你人工智能方面的挑戰(zhàn)一直就在你的面前嗎？

定制 LLM 響應(yīng)的解決方案不是投資在昂貴的所有權(quán)矢量數(shù)據(jù)庫，然后試圖逃避真正存在的供應(yīng)商鎖定或搭配不當(dāng)?shù)娘L(fēng)險。至少不必如此。認(rèn)識到，現(xiàn)有的開源矢量數(shù)據(jù)庫是人工智能開發(fā)領(lǐng)域的最佳選擇之一，應(yīng)該是一個非常受歡迎的發(fā)現(xiàn)，其中一些你可能已經(jīng)很熟悉，甚至已經(jīng)擁有。