“算力使能，開放無限”，2023開放數(shù)據(jù)中心峰會以此為主題，在北京國際會議中心成功舉辦。

在大模型時代的服務器技術創(chuàng)新分論壇上，華為昇騰互聯(lián)網(wǎng)首席解決方案架構師安寶磊發(fā)表主題演講，對AI大模型發(fā)展趨勢及應用方向，華為昇騰加速大模型研發(fā)和落地的技術優(yōu)勢與生態(tài)發(fā)展進行了全面的解讀。

從專用到通用人工智能進入大模型時代

2022年11月，人工智能模型ChatGPT的發(fā)布，掀起了AI熱潮，也推動AI發(fā)展跨越拐點，從“預測推斷”走向“內(nèi)容生成”。此前的AI技術發(fā)展，更多的處于專用領域，即感知理解世界，能夠替代低端的重復性工作。而隨著ChatGPT，尤其是GPT-4的發(fā)布，AI步入了生成和創(chuàng)造世界的發(fā)展階段，可以在通用領域替代較高端腦力勞動工作，不僅會思考還會學習，主要用于理解和生成。據(jù)了解，GPT-4已初步具備自主學習和思考能力，在文本/圖像/音頻/視頻/代碼等腦力勞動場景中已達到人類80%的水平。

當人工智能進入大模型時代，隨著AI大模型技術快速成熟，AI算法與應用的開發(fā)、上線部署與業(yè)務發(fā)放等過程均大幅簡化，使用門檻大幅降低。在專用領域場景專屬化階段，可稱之為小模型時代，而隨著越來越多的場景通用化，一套AI系統(tǒng)可以使能全業(yè)務流創(chuàng)新，則預示著大模型時代的到來。安寶磊表示，隨著大模型重塑產(chǎn)業(yè)格局，未來兩年將落地50%+行業(yè)的核心場景。現(xiàn)階段所面臨的問題，在于2C應用用戶商業(yè)付費挑戰(zhàn)較大，2B應用在行業(yè)數(shù)據(jù)積累、模型調(diào)測和行業(yè)應用集成等方面，均需要時間積累。

從挑戰(zhàn)到創(chuàng)新昇騰大模型+AI集群構筑堅實底座

大模型不僅需要算法，而且需要數(shù)據(jù)處理，軟硬件優(yōu)化、模型開發(fā)、應用創(chuàng)新的系統(tǒng)工程能力，作為復雜系統(tǒng)工程，大模型的每個環(huán)節(jié)都存在著大量工程技術挑戰(zhàn)，其中最主要的三個關鍵挑戰(zhàn)在于：一是如何生成高質(zhì)量的數(shù)據(jù)和高質(zhì)量的模型，在模型選型、架構調(diào)整設計、技術驗證過程設計方面非常復雜，試錯成本高；二是如何完成大規(guī)模訓練和調(diào)優(yōu)工程，大模型訓練對于集群穩(wěn)定性有很高的要求，如果算力平臺不穩(wěn)定，訓練任務頻繁中斷，訓練成果有很大損失；三是如何實現(xiàn)高效業(yè)務落地，并確保具備持續(xù)創(chuàng)新能力。對于部分企業(yè)而言，模型推理資源占用高，AI落地成本高，AI集成進入現(xiàn)網(wǎng)業(yè)務流過程繁雜，企業(yè)缺乏業(yè)務流程及組織調(diào)整經(jīng)驗。

為解決以上挑戰(zhàn)，華為聯(lián)合伙伴推出了昇騰大模型解決方案，使能全流程開發(fā)與應用創(chuàng)新。從數(shù)據(jù)、模型準備到算力準備、模型訓練，再到模型部署和集成，解決方案均可滿足，不僅適用于多種場景，而且應對全行業(yè)客戶需求，應用了昇騰AI基礎軟硬件能力、伙伴模型以及平臺優(yōu)勢，結合生態(tài)伙伴彼此在大模型訓練、微調(diào)和優(yōu)化方面的算法和模型能力，添加了大模型推理引擎、調(diào)優(yōu)工具和算子加速庫。方案的優(yōu)勢在于10倍集群穩(wěn)定性、20倍大模型無損壓縮、自動生成和標注指令數(shù)據(jù)，以及首創(chuàng)混合架構、萬億參數(shù)微調(diào)，2倍transformer計算效率，以及小時級應用快速上線，短時延，高吞吐，高效推理部署。

大模型需要大算力，華為昇騰AI集群為大模型創(chuàng)新應用構筑堅實底座。從Atlas 900 PoD到Atlas 900 A2 PoD，通過產(chǎn)品的不斷更新持續(xù)迭代升級，華為可提供業(yè)界領先的人工智能大規(guī)模集群。通過可診斷、可衡量、可恢復的多級可靠機制，可提供10倍級提升集群系統(tǒng)穩(wěn)定性。其中，無感知斷點續(xù)訓，可實現(xiàn)千億參數(shù)模型30分鐘無感恢復訓練，從仿真驗證到故障檢測+診斷+預測，全面保障硬件穩(wěn)定可靠。與此同時，方案通過軟硬件原生協(xié)同設計，還可實現(xiàn)系統(tǒng)級優(yōu)化AI集群，加速大模型訓練開發(fā)。

從深度開放到全面兼容華為加速昇騰AI產(chǎn)業(yè)生態(tài)繁榮發(fā)展

在大模型時代，開放的生態(tài)也非常重要。昇騰AI深度開放，全面支持業(yè)界各類框架、加速庫及三方社區(qū)生態(tài)，并提供全流程遷移工具，可快速實現(xiàn)大模型和應用的適配，目前已支持ChatGLM、LLaMA2、GPT、BLOOM等數(shù)十個業(yè)界主流大模型。同時，基于昇騰AI也原生孵化了業(yè)界首個兩千億參數(shù)的中文NLP大模型鵬程·盤古，業(yè)界首個多模態(tài)大模型紫東·太初等30+基礎大模型，并在各行業(yè)應用落地。

在行業(yè)應用領域，昇騰在大模型的行業(yè)落地方向探索最早，在生物醫(yī)藥、教育、遙感、電力和互聯(lián)網(wǎng)等多個行業(yè)場景實現(xiàn)了多個大模型的應用落地。國內(nèi)的互聯(lián)網(wǎng)公司已經(jīng)在推薦廣告，搜索，內(nèi)容審核等核心業(yè)務場景越來越多的使用昇騰產(chǎn)品方案，滿足互聯(lián)網(wǎng)公司對AI算力快速增長需求的同時助力互聯(lián)網(wǎng)行業(yè)打造創(chuàng)新應用，提升業(yè)務競爭力。在基礎大模型方面，昇騰孵化的基礎大模型涵蓋了多個技術領域，對各個技術方向下的大模型孵化均有積累。在大模型產(chǎn)業(yè)落地上，昇騰AI聯(lián)合產(chǎn)業(yè)鏈上下游伙伴，推動大模型技術加速落地，目前已成立多模態(tài)人工智能產(chǎn)業(yè)聯(lián)合體、智能遙感開源生態(tài)聯(lián)合體和智能流體力學產(chǎn)業(yè)聯(lián)合體，未來還計劃在智慧育種、AI生物制藥等領域牽引成立聯(lián)合體，促進大模型產(chǎn)業(yè)聚合發(fā)展。

伴隨大模型帶來的生成式AI突破，人工智能正進入一個新時代。如今，昇騰AI產(chǎn)業(yè)正在蓬勃發(fā)展中，華為攜手多家合作伙伴在互聯(lián)網(wǎng)、金融、運營商等多領域打造2500多個AI解決方案，提供軟硬件支持，開放AI模組、加速卡，推出形式多樣的接口開發(fā)文檔和參考設計，助推市場創(chuàng)新活動穩(wěn)步提升。面向未來，華為將通過系統(tǒng)級創(chuàng)新、堅持開源開放、深耕行業(yè)，加速昇騰人工智能產(chǎn)業(yè)生態(tài)繁榮發(fā)展，持續(xù)提升AI賦能，與伙伴聯(lián)合創(chuàng)新推進人工智能走深向?qū)?，助力人工智能與各行各業(yè)深度融合，用強大的算力支撐人工智能高質(zhì)量的發(fā)展，為行業(yè)智能升級提供新動能。