百度文心大模型4.5系列正式開源,同步開放API服務(wù)
百度文心大模型開源,如期而至。
就在今天,百度官宣文心大模型4.5系列正式開源,還同步提供API服務(wù)。
此番,百度一次性推出10款開源模型,涵蓋從47B參數(shù)的混合專家(MoE)模型到輕量級(jí)0.3B稠密型模型,覆蓋文本、多模態(tài)等多種任務(wù)需求。
此次開源不僅權(quán)重與代碼完全開放,還同步提供API服務(wù),開發(fā)者可通過飛槳星河社區(qū)、HuggingFace、百度智能云千帆平臺(tái)直接下載使用。
△文心大模型4.5系列開源模型
值得關(guān)注的是,文心大模型4.5開源系列遵照的是Apache 2.0協(xié)議。
10款模型同步開源
此次百度一次性推出10款文心大模型4.5系列開源模型,在獨(dú)立自研模型數(shù)量占比、模型類型數(shù)量、參數(shù)豐富度、開源寬松度與可靠性等關(guān)鍵維度上,都拿出了誠意。
文心大模型4.5開源系列,還針對MoE架構(gòu)提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu)。
該結(jié)構(gòu)適用于從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練范式,在保持甚至提升文本任務(wù)性能的基礎(chǔ)上,顯著增強(qiáng)了多模態(tài)理解能力,其優(yōu)越的性能主要得益于多模態(tài)混合專家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架和針對模態(tài)的后訓(xùn)練等關(guān)鍵技術(shù)點(diǎn)。
此外,文心大模型4.5開源系列均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。
在大語言模型的預(yù)訓(xùn)練中,模型FLOPs利用率(MFU)達(dá)到47%。
△文心4.5預(yù)訓(xùn)練模型在主流基準(zhǔn)測試中表現(xiàn)優(yōu)異
實(shí)驗(yàn)結(jié)果顯示,其系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測試中達(dá)到SOTA水平,尤其在指令遵循、世界知識(shí)記憶、視覺理解和多模態(tài)推理任務(wù)上效果突出。
在文本模型方面,文心大模型4.5開源系列在多個(gè)主流基準(zhǔn)評測中超越DeepSeek-V3、Qwen3等模型。
△文心4.5-300B-A47B模型在主流基準(zhǔn)測試中表現(xiàn)優(yōu)異
在多模態(tài)模型方面,文心大模型4.5開源系列基于強(qiáng)大的視覺感知能力和豐富的視覺常識(shí),實(shí)現(xiàn)了思考與非思考統(tǒng)一,在視覺常識(shí)、多模態(tài)推理、視覺感知等主流的多模態(tài)大模型評測中優(yōu)于閉源的OpenAI o1。
此外,在輕量模型上,文心4.5-21B-A3B-Base文本模型效果與同量級(jí)的Qwen3相當(dāng),文心4.5-VL-28B-A3B多模態(tài)模型在同量級(jí)開源模型中達(dá)到SOTA,甚至能和更大參數(shù)模型Qwen2.5-VL-32B掰掰手腕。
△多模態(tài)后訓(xùn)練模型在多個(gè)多模態(tài)基準(zhǔn)測試中達(dá)到SOTA
開發(fā)者福利:開箱即用的工具鏈
據(jù)了解,文心大模型4.5開源系列權(quán)重按照Apache 2.0協(xié)議開源,支持開展學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用。
另外基于飛槳提供開源的產(chǎn)業(yè)級(jí)開發(fā)套件,由于其廣泛兼容多種芯片,可以顯著降低模型的后訓(xùn)練和部署門檻。
而作為國內(nèi)最早投入AI研發(fā)的企業(yè)之一,百度在算力、框架、模型到應(yīng)用的四層布局構(gòu)建了AI全棧技術(shù)優(yōu)勢。
其中,飛槳作為中國首個(gè)自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái),基于多年飛槳開源技術(shù)與生態(tài)系統(tǒng)積累,本次文心大模型4.5開源系列同步升級(jí)發(fā)布文心大模型開發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy,為文心大模型4.5系列及開發(fā)者提供開箱即用的工具和全流程支持。
此外值得一提的是,文心大模型4.5系列開源后,百度也實(shí)現(xiàn)了框架層與模型層的“雙層開源”。