由于AI的快速發(fā)展以及對錯失恐懼癥(FOMO)的擔憂，GenAI項目往往采用自上而下的推動方式，企業(yè)領導者很容易對這項突破性技術(shù)產(chǎn)生過度興奮的情緒，然而，當企業(yè)急于構(gòu)建和部署時，往往會遇到與其他技術(shù)實施中出現(xiàn)的所有典型問題。AI復雜且需要專業(yè)知識，這意味著一些企業(yè)很快就會陷入困境。

事實上，F(xiàn)orrester預測，嘗試內(nèi)部構(gòu)建AI助手的企業(yè)中，有近四分之三將會失敗。

Forrester分析師Jayesh Chaurasia和Sudha Maheshwari寫道：“挑戰(zhàn)在于這些架構(gòu)錯綜復雜，需要多個模型、先進的檢索增強生成(RAG)堆棧、高級數(shù)據(jù)架構(gòu)和專業(yè)知識?！?/p>

那么，企業(yè)該如何選擇何時采用第三方模型、開源工具或構(gòu)建定制化的、內(nèi)部微調(diào)的模型呢?專家對此進行了權(quán)衡。

AI架構(gòu)遠比企業(yè)想象的復雜

Forrester高級分析師Rowan Curran告訴記者，嘗試自主構(gòu)建代理的企業(yè)通常會在RAG和向量數(shù)據(jù)庫方面遇到困難。在預期的時間框架內(nèi)獲得準確輸出可能是一項挑戰(zhàn)，而且企業(yè)并不總是理解重新排序的過程或其重要性，重新排序有助于確保模型使用最高質(zhì)量的數(shù)據(jù)。

Curran指出，例如，用戶可能會輸入10000份文檔，而模型可能會返回與當前任務最相關的100份文檔，但是，較短的上下文窗口限制了可以輸入以進行重新排序的內(nèi)容。因此，例如，人類用戶可能需要進行判斷并選擇10份文檔，從而降低模型的準確性。

Curran指出，RAG系統(tǒng)的構(gòu)建和優(yōu)化可能需要6到8周的時間。例如，在進行任何調(diào)整之前，第一次迭代的準確率可能為55%，第二次發(fā)布可能達到70%，而最終部署的準確率理想情況下將接近100%。

開發(fā)人員需要了解數(shù)據(jù)的可用性(和質(zhì)量)以及如何對模型進行重新排序、迭代、評估和落地(即將模型輸出與相關、可驗證的來源進行匹配)。此外，調(diào)高或調(diào)低“溫度”決定了模型的創(chuàng)造力——但一些企業(yè)在創(chuàng)造力方面“非常嚴格”，從而限制了發(fā)展，Curran表示。

“人們一直認為這些東西有個簡單的按鈕，”他指出，“但實際上并沒有?！?/p>

Curran表示，構(gòu)建AI系統(tǒng)需要大量的人力，強調(diào)了測試、驗證和持續(xù)支持的重要性。所有這些都需要專門的資源。

Databricks的AI副總裁、MosaicAI的創(chuàng)始人兼前首席執(zhí)行官Naveen Rao表示：“成功部署AI助手可能很復雜?！逼髽I(yè)需要訪問各種大型語言模型(LLM)，并且有能力管理和監(jiān)控不僅代理和模型，還有底層數(shù)據(jù)和工具?！斑@不是一個簡單的問題，隨著時間的推移，AI系統(tǒng)訪問的數(shù)據(jù)及其訪問方式將受到越來越多的審查?！?/p>

探索AI助手時需要考慮的因素

專家建議，在考慮部署AI助手的選項(第三方、開源或定制)時，企業(yè)應采取一種受控的、戰(zhàn)術(shù)性的方法。

咨詢公司Intelligence Briefing的創(chuàng)始人兼首席AI戰(zhàn)略師Andreas Welsch建議，首先要考慮幾個重要的問題和因素，其中包括：

? 你的團隊大部分時間花在哪里?

? 在這個過程中，哪些任務或步驟最耗時?

? 這些任務的復雜性如何?是否涉及IT系統(tǒng)和可訪問的數(shù)據(jù)?

? 提高速度或降低成本將為你的企業(yè)帶來什么?你能否(以及如何)衡量基準?

Welsch指出，考慮現(xiàn)有的許可證和訂閱也很重要。與軟件銷售代表交談，了解你的企業(yè)是否已經(jīng)可以使用代理功能，如果可以，使用它們需要什么條件(例如附加組件或更高級別的訂閱)。

從那里開始，尋找一個業(yè)務功能中的機會。例如：“你的團隊在哪些無法用代碼描述的手動步驟上花費時間?”之后，在探索代理時，了解其潛力并“診斷”任何差距。

同時，一定要通過向團隊展示代理如何幫助他們工作來賦能和教育團隊?！耙膊灰ε绿峒按淼木窒扌裕盬elsch說，“這將有助于你管理預期?！?/p>

制定策略，采用跨職能方法

Curran強調(diào)，在制定企業(yè)AI策略時，采用跨職能方法非常重要。成功的企業(yè)會讓多個部門參與這一過程，包括業(yè)務領導層、軟件開發(fā)和數(shù)據(jù)科學團隊、用戶體驗經(jīng)理等。

他建議，基于企業(yè)的核心原則和目標制定路線圖?！拔覀冏鳛橐粋€企業(yè)的目標是什么?AI將如何幫助我們實現(xiàn)這些目標?”

Curran承認，這無疑很困難，因為技術(shù)發(fā)展得太快了?！皼]有一套最佳實踐、框架，”他說。在AI助手方面，沒有多少開發(fā)人員有發(fā)布后集成和DevOps的經(jīng)驗?！皹?gòu)建這些東西的技能還沒有以廣泛的方式真正得到發(fā)展和量化?！?/p>

因此，企業(yè)難以啟動各種AI項目(包括所有類型)，并且許多企業(yè)最終會轉(zhuǎn)向咨詢機構(gòu)或他們現(xiàn)有的技術(shù)供應商之一，這些供應商擁有在其技術(shù)堆棧上進行構(gòu)建的資源和能力。最終，當企業(yè)與合作伙伴緊密合作時，他們將最有可能取得成功。

“第三方提供商可能有足夠的資源來跟上最新的技術(shù)和架構(gòu)來構(gòu)建這一系統(tǒng)，”Curran說。

這并不是說不可能在內(nèi)部構(gòu)建定制代理;恰恰相反，他指出。例如，如果一個企業(yè)擁有強大的內(nèi)部開發(fā)團隊以及RAG和機器學習(ML)架構(gòu)，他們可以利用這些來創(chuàng)建自己的代理AI。他還強調(diào)，如果“你的數(shù)據(jù)得到了良好的管理、記錄和標記”，并且沒有“一團糟”的API策略，同樣也可以這樣做。

無論哪種情況，企業(yè)都必須從一開始就將持續(xù)的、部署后的需求納入其AI策略中。

“部署后沒有免費的午餐，”Curran說，“所有這些系統(tǒng)都需要某種形式的發(fā)布后維護和支持，以及持續(xù)的調(diào)整和優(yōu)化，以保持它們的準確性，并隨著時間的推移使它們更加準確?！?/p>