利用IBM WatsonX為企業(yè)和混合云構(gòu)建更好的人工智能
IBM在年度IBM Think大會上將AI和混合云戰(zhàn)略放到了核心位置。在過去幾年里,其他廠商一直專注于新AI應(yīng)用面向消費者的方面,IBM則一直在開發(fā)新一代模型以更好地服務(wù)于企業(yè)客戶。
IBM前不久宣布推出了用于混合云應(yīng)用的AI開發(fā)平臺watsonx.ai。IBM watsonx AI開發(fā)服務(wù)目前處于技術(shù)預(yù)覽階段,將于2023年第三季度全面上市。
AI將成為關(guān)鍵的商業(yè)工具,開啟生產(chǎn)力、創(chuàng)造力和價值創(chuàng)造的新時代。對于企業(yè)而言,這不僅僅是通過云訪問大型語言模型(LLM)的新型AI結(jié)構(gòu)。大型語言模型構(gòu)成了ChatGPT等生成式AI產(chǎn)品的基礎(chǔ),但企業(yè)有許多必須考慮的問題:數(shù)據(jù)主權(quán)、隱私、安全性、可靠性(無漂移)、正確性、偏見等。
IBM對企業(yè)的一項調(diào)查發(fā)現(xiàn),有30%-40%的企業(yè)發(fā)現(xiàn)了AI的商業(yè)價值,這個數(shù)字自2017年以來翻了一番。IBM引用的一項預(yù)測稱,到2030年,AI將為全球經(jīng)濟貢獻16萬億美元。該調(diào)查突顯了使用AI提高生產(chǎn)力,除此之外還可以創(chuàng)造更多獨特的價值,就像早期沒有人能預(yù)測到互聯(lián)網(wǎng)對未來的獨特價值一樣。AI將通過提高生產(chǎn)力來填補企業(yè)與擁有這些技能的人才之間存在的許多技能需求差距。
如今,AI變得更快速、無錯誤以改進軟件編程。在Red Hat,IBM的Watson Code Assistant使用了watsonx,通過預(yù)測和建議要輸入的下一個代碼段,使編寫代碼變得更容易。AI的這種應(yīng)用非常高效,因為它針對的是Red Hat Ansible自動化平臺中的特定編程模型。Ansible Code Assistant比其他更通用的代碼助手小35倍,因為它的優(yōu)化程度更高。
另一個例子是SAP,SAP將整合Watson服務(wù)處理以支持SAP Start中的數(shù)字助理。SAP Start中的新AI功能將通過自然語言功能和使用IBM Watson AI解決方案的預(yù)測洞察力,幫助提高用戶生產(chǎn)力。SAP發(fā)現(xiàn),AI可以回答高達94%的查詢請求。
為watsonx注入生命力
IBM AI開發(fā)堆棧分為三個部分:watsonx.ai、watsonx.data和watsonx.governance。這些watsonx組件旨在協(xié)同工作,也可以與第三方集成一起使用,例如來自HuggingFace的開源AI模型。此外,watsonx可以在多種云服務(wù)(包括IBM Cloud、AWS和Azure)和本地服務(wù)器上運行。
帶有watson.ai、watsonx.data和watsonx.governance的IBM watsonx平臺
Watsonx平臺以即服務(wù)的形式交付,支持混合云部署。數(shù)據(jù)科學家借助這些工具就可以對自定義AI模型進行快速工程設(shè)計和調(diào)整,隨后這些模型成為企業(yè)業(yè)務(wù)流程的關(guān)鍵引擎。
watsonx.data服務(wù)使用開放表存儲以允許將多個來源的數(shù)據(jù)連接到watsonx的其余部分,管理用于訓練watsonx模型的數(shù)據(jù)的生命周期。
watsonx.governance服務(wù)用于管理模型生命周期,在使用新數(shù)據(jù)訓練和完善模型時對模型應(yīng)用進行主動治理。
該產(chǎn)品的核心是watsonx.ai,開發(fā)工作就在這里進行。如今,IBM自身已經(jīng)開發(fā)了20種基礎(chǔ)模型(FM),它們具有不同的架構(gòu)、模式和規(guī)模。除此之外,還有在watsonx平臺上可用的HuggingFace開源模型。IBM預(yù)計一些客戶將自己開發(fā)應(yīng)用,由IBM提供咨詢服務(wù)以幫助選擇正確的模型、對客戶數(shù)據(jù)進行再培訓,并在需要時幫助加速開發(fā)。
運行在Red Hat OpenShift上的IBM watsonx.ai軟件棧
IBM花費三年多時間研究開發(fā)watsonx平臺。IBM甚至構(gòu)建了代號“Vela”的AI超級計算機,研究構(gòu)建基礎(chǔ)模型的有效系統(tǒng)架構(gòu),并在發(fā)布watsonx之前構(gòu)建了自己的模型庫。IBM充當AI平臺自己的“客戶0”。
與使用標準以太網(wǎng)網(wǎng)絡(luò)交換機(而不是使用更昂貴的Nvidia/Mellanox交換機)的傳統(tǒng)AI超級計算機相比,Vela架構(gòu)的構(gòu)建更容易、成本更低,如果客戶想在他們的環(huán)境中運行watsonx,則可能更容易復(fù)制。此外,PyTorch還針對IBM Vela AI超級計算機架構(gòu)進行了優(yōu)化。IBM發(fā)現(xiàn)在Vela上運行虛擬化只有5%的性能開銷。
IBM watsonx支持IBM基于Red Hat OpenShift的混合云戰(zhàn)略承諾。watsonx AI開發(fā)平臺在IBM云或者其他公有云(如AWS)或客戶場所運行,即使存在不允許使用公共AI工具的業(yè)務(wù)限制,企業(yè)也可以利用這一最新的AI技術(shù),IBM真正地把領(lǐng)先的AI和混合云與watsonx結(jié)合在了一起。
watsonx是IBM的AI開發(fā)和數(shù)據(jù)平臺,用于大規(guī)模交付AI。Watson品牌下的產(chǎn)品都是具有AI專長的數(shù)字勞動力產(chǎn)品,其他Watson品牌產(chǎn)品包括Watson Assistant、Watson Orchestrate、Watson Discovery和Watson Code Assistant(以前的Project Wisdom)。IBM將更加關(guān)注Watson品牌,已經(jīng)把以前的Watson Studio產(chǎn)品整合到watsonx.ai中,以支持新的基礎(chǔ)模型開發(fā)和訪問傳統(tǒng)機器學習功能。
基礎(chǔ)模型和大型語言模型
在過去的10年中,深度學習模型基于每個應(yīng)用中的大量標記數(shù)據(jù)進行訓練。這種方法是不可擴展的?;A(chǔ)模型和大型語言模型接受大量未標記數(shù)據(jù)的訓練,這些數(shù)據(jù)更容易收集,然后可以使用這些新的基礎(chǔ)模型來執(zhí)行多項任務(wù)。
對于這種利用預(yù)訓練模型執(zhí)行多項任務(wù)的新型AI,實際上使用“大型語言模型”這個術(shù)語是有些不當?shù)摹J褂谩罢Z言”,則意味著該技術(shù)僅適用于測試,但模型可以由代碼、圖形、化學反應(yīng)等組成。IBM對這些大型預(yù)訓練模型使用的術(shù)語更具描述性,也就是“基礎(chǔ)模型”。通過使用基礎(chǔ)模型,訓練大量數(shù)據(jù)以生成特定的模型,然后可以按原樣使用此基礎(chǔ)模型,或者針對特定進行調(diào)整。通過為應(yīng)用調(diào)整基礎(chǔ)模型,還可以設(shè)置適當?shù)南拗撇⒅苯邮鼓P透杏锰?。此外,基礎(chǔ)模型還可以用于加快非生成式AI應(yīng)用(如數(shù)據(jù)分類和過濾)的迭代。
許多大型語言的規(guī)模很大,而且規(guī)模越來越大,因為這些模型試圖對每種數(shù)據(jù)都進行訓練,以便可以用于任何潛在的開放領(lǐng)域。在企業(yè)環(huán)境中,這種方法通常是矯枉過正的,并且可能會遇到擴展方面的問題,而通過正確地選擇合適的數(shù)據(jù)集,并將其應(yīng)用于正確類型的模型,則可以讓最終模型變得更高效,這個新模型也可以通過IBM watsonx.governance清除任何偏見、版權(quán)材料等。
小結(jié)
IBM Think大會期間,AI被號稱正處于“Netscape時刻”,這個比喻指的是當更廣泛受眾接觸到互聯(lián)網(wǎng)時所達到的一個分水嶺時刻。ChatGPT向更廣泛的受眾展示了生成式AI,但仍然需要企業(yè)可以依賴且可以控制的、負責任的AI。
正如Dario Gil在他的閉幕主題演講中所說:“不要將您的AI策略外包給API調(diào)用。” HuggingFace公司首席執(zhí)行官也表達了同樣的觀點:要有你自己的模型,不要租用別人的模型。IBM正在給企業(yè)提供工具來構(gòu)建負責任的、高效的AI,并讓他們擁有自己的模型。