百度智能云兩大基礎(chǔ)設(shè)施再升級(jí)!打造AI時(shí)代最開放的智能基礎(chǔ)設(shè)施
4月25日,以“模型的世界,應(yīng)用的天下”為主題的Create 2025 百度AI開發(fā)者大會(huì)在湖北武漢召開。會(huì)上,百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖分享了百度智能云在智能基礎(chǔ)設(shè)施建設(shè)方面的最新成果,并在算力、模型及應(yīng)用等方面發(fā)布一系列全新產(chǎn)品。
大模型的高效落地亟需從底層算力到應(yīng)用的全棧、系統(tǒng)級(jí)支撐——既需高性能硬件與集群優(yōu)化,也需靈活的開發(fā)工具鏈與場景化解決方案。基于多年在大模型研發(fā)與產(chǎn)業(yè)落地的深厚積累,百度智能云構(gòu)建了新一代系統(tǒng)級(jí)智能基礎(chǔ)設(shè)施,為企業(yè)大模型應(yīng)用落地提供最佳解決方案。
相關(guān)數(shù)據(jù)顯示,2024全年百度智能云在大模型相關(guān)中標(biāo)項(xiàng)目數(shù)、行業(yè)覆蓋數(shù)、央國企中標(biāo)項(xiàng)目數(shù)三個(gè)維度均為第一,在能源、政務(wù)、金融三個(gè)行業(yè)的中標(biāo)項(xiàng)目數(shù)位于所有廠商第一。截止目前,千帆平臺(tái)企業(yè)用戶數(shù)量超40萬,千帆平臺(tái)組件數(shù)量超1000個(gè),企業(yè)在千帆平臺(tái)上已開發(fā)出了超100萬個(gè)應(yīng)用。
沈抖表示,系統(tǒng)的價(jià)值,不僅是解決某一個(gè)問題,而是讓企業(yè)擁有創(chuàng)造“創(chuàng)造的能力”。企業(yè)可以結(jié)合自己的數(shù)據(jù)、流程、邏輯,利用百度智能云的系統(tǒng)級(jí)能力打造企業(yè)專屬AI基礎(chǔ)設(shè)施。
百舸+昆侖芯超節(jié)點(diǎn):推理性能提升13倍、成本降低95%
算力是AI時(shí)代的“新電力”。百度智能云通過自研昆侖芯P800芯片及百舸大規(guī)模推理加速能力,實(shí)現(xiàn)算力性能與成本的雙重突破。
本次大會(huì),百度正式點(diǎn)亮了昆侖芯P800的三萬卡集群。在金融行業(yè),招商銀行與百度智能云基于昆侖芯P800展開算力合作,能穩(wěn)定支持各類開源大模型,性能表現(xiàn)卓越,在智能客服、多模態(tài)數(shù)據(jù)分析等場景實(shí)現(xiàn)了顯著效能提升。目前,除了招商銀行這類金融機(jī)構(gòu),昆侖芯P800算力已在國家電網(wǎng)、中國鋼研等央企,同濟(jì)大學(xué)、北京大學(xué)等高校及一批互聯(lián)網(wǎng)企業(yè)進(jìn)行規(guī)?;渴?。
為了進(jìn)一步降低算力使用成本,百度智能云正式發(fā)布昆侖芯超節(jié)點(diǎn)。
昆侖芯超節(jié)點(diǎn)支持把64張昆侖芯AI加速卡放到同一個(gè)機(jī)柜,實(shí)現(xiàn)單節(jié)點(diǎn)的超強(qiáng)性能,一個(gè)機(jī)柜就能頂過去100臺(tái)機(jī)器。與以往的方案相比,昆侖芯超節(jié)點(diǎn)用更快的機(jī)內(nèi)通信替代機(jī)間通信,可以有效降低帶寬成本,最終實(shí)現(xiàn)卡間互聯(lián)帶寬提升8倍,單機(jī)訓(xùn)練性能提升10倍,單卡推理性能提升13倍。
僅僅擁有高性能芯片和大規(guī)模集群是遠(yuǎn)遠(yuǎn)不夠的,如何穩(wěn)定、高效地釋放算力的真正價(jià)值才是關(guān)鍵所在。沈抖認(rèn)為,未來三年,推理降本,一定是企業(yè)最重要的工作。
百度智能云全面升級(jí)百舸推理加速能力。通過大規(guī)模分布式推理的PD分離,百舸支持客戶根據(jù)不同場景的業(yè)務(wù)特點(diǎn),自適應(yīng)地設(shè)置PD配比,并做到token級(jí)別的PD負(fù)載均衡。針對MOE模型,百舸做到了大規(guī)模多機(jī)專家并行的極致優(yōu)化,可以大幅降低MOE模型推理的通信開銷。最后,百舸對核心鏈路上的每一個(gè)細(xì)節(jié)做了系統(tǒng)級(jí)的工程優(yōu)化,大幅提升GPU的有效利用率。
從百度內(nèi)部實(shí)踐來看,百舸推理加速的能力正在作為千帆的算力底座,為40萬客戶提供服務(wù)。上線以來,千帆的推理吞吐提升20倍,推理速度提升50%以上。在外部,百舸不止支持著像招商銀行、中國石化、長安汽車等企業(yè)的超大規(guī)模算力需求,也很好地支撐著創(chuàng)企客戶、伙伴的模型訓(xùn)練、推理需求。
企業(yè)部署大模型,不僅需要高性價(jià)比的模型服務(wù),更需要全面的模型工具。在模型服務(wù)層面,目前千帆平臺(tái)上有超過100多個(gè)模型,不僅包括文心4.5Turbo、文心X1 Turbo等百度自研模型,還包括DeepSeek、Ilama、Vidu等第三方模型,服務(wù)穩(wěn)定、可靠。在模型開發(fā)層面,千帆平臺(tái)可以提供全面的模型開發(fā)工具鏈,支持深度思考模型、多模態(tài)模型的定制、精調(diào)。
以模型蒸餾為例,智聯(lián)招聘在人崗匹配場景使用了千帆平臺(tái)的模型蒸餾工具鏈,用千億參數(shù)的DeepSeek R1作為“教師模型”,用百億參數(shù)的ERNIE Speed作為“學(xué)生模型”,經(jīng)過調(diào)優(yōu)后的小參數(shù)模型,不僅可以媲美“教師模型”的效果,成本也降低至3成。
基于DeepResearch能力,榮耀正在利用千帆平臺(tái),面向高校學(xué)生、職場白領(lǐng)等群體,打造一款科研場景深度研究的應(yīng)用,將很快會(huì)在榮耀筆記本上上線。
百度智能云打造的智能基礎(chǔ)設(shè)施也支撐著百度自己的應(yīng)用創(chuàng)新。本次大會(huì),百度智能云面向智能營銷、視覺AI兩大領(lǐng)域,升級(jí)了兩大自研AI應(yīng)用產(chǎn)品。
金融營銷場景需要高精準(zhǔn)獲客、“高情商”客服及高效的流失預(yù)警,百度智能云本次升級(jí)發(fā)布客悅·ONE,在上述核心場景進(jìn)行了全面優(yōu)化,為客戶提供全生命周期智能營銷服務(wù),助力企業(yè)實(shí)現(xiàn)營銷效能全面提升。
以理財(cái)撤單場景為例,傳統(tǒng)模式下,用戶需經(jīng)歷復(fù)雜的說明閱讀和多層級(jí)菜單操作,效率低下??蛺偼ㄟ^AI驅(qū)動(dòng)的智能交互,極大簡化了這一流程。AI不僅能識(shí)別并安撫用戶焦慮,更能在對話中直接引導(dǎo)解決問題,還能自動(dòng)提煉關(guān)鍵信息并回流數(shù)據(jù),持續(xù)優(yōu)化服務(wù)體驗(yàn)。
目前客悅已經(jīng)服務(wù)銀行、證券、保險(xiǎn)等不同細(xì)分領(lǐng)域的金融企業(yè)50余家,落地金融行業(yè)10余個(gè)場景。