Llama 4 凌晨震撼發(fā)布：Meta開(kāi)源最強(qiáng)MoE多模態(tài)模型，1000萬(wàn)上下文碾壓行業(yè)！ 原創(chuàng)
就在4月6日凌晨，Meta 毫無(wú)預(yù)兆地發(fā)布了 Llama 4，這是其開(kāi)源大模型 Llama 系列的最新成員，也是迄今為止 最強(qiáng)的開(kāi)源多模態(tài)大模型！
此次發(fā)布的 Llama 4 系列包括 Scout、Maverick 和 Behemoth 三個(gè)版本，其中 Scout 和 Maverick 已開(kāi)放下載，而 Behemoth 仍在訓(xùn)練中，預(yù)計(jì)未來(lái)幾個(gè)月正式亮相。
Meta 首席執(zhí)行官 馬克·扎克伯格 在官方公告中激動(dòng)地表示：
“我們的目標(biāo)是打造世界領(lǐng)先的 AI，并將其開(kāi)源，讓全球受益。今天，Llama 4 讓這一愿景更進(jìn)一步！”
下載地址： llama.com/llama-downloads
三大版本解析
1. Llama 4 Scout（170億激活參數(shù)，16專家）
- 1000萬(wàn)token上下文窗口（行業(yè)最長(zhǎng)！相當(dāng)于15000頁(yè)文本）
- 單張H100 GPU即可運(yùn)行（Int4量化后）
- 專為長(zhǎng)文檔摘要、代碼庫(kù)推理優(yōu)化，性能超越Gemma 3、Gemini 2.0 Flash
2. Llama 4 Maverick（170億激活參數(shù)，128專家）
- 4000億總參數(shù)，但僅激活170億（MoE架構(gòu)高效推理）
- 競(jìng)技場(chǎng)（Arena）得分1417，超越DeepSeek V3，在編程、數(shù)學(xué)、創(chuàng)意寫作等任務(wù)中排名第一
- 成本極低：推理僅需0.49/百萬(wàn)token，遠(yuǎn)低于GPT-4o（$4.38/百萬(wàn)token）
3. Llama 4 Behemoth（2880億激活參數(shù)，2萬(wàn)億總參數(shù)）
- 仍在訓(xùn)練中，但已超越GPT-4.5、Claude 3.7 Sonnet
- 目標(biāo)：全球最強(qiáng)AI模型，未來(lái)將作為“教師模型”指導(dǎo)Scout和Maverick
技術(shù)突破
1. 首次采用MoE架構(gòu)，計(jì)算效率飆升
Llama 4 是 Meta 首個(gè)混合專家（Mixture of Experts, MoE）模型，每個(gè) token 僅激活部分參數(shù)，大幅降低計(jì)算成本。例如：
- Maverick 有4000億參數(shù)，但僅激活170億，可在單臺(tái)H100上運(yùn)行。
2. 原生多模態(tài)，視覺(jué)理解能力一流
- 早期融合技術(shù)：文本、圖像、視頻統(tǒng)一訓(xùn)練，支持48張圖像輸入
- 精準(zhǔn)圖像定位：可錨定圖像特定區(qū)域進(jìn)行問(wèn)答
3. 超長(zhǎng)上下文支持，1000萬(wàn)token創(chuàng)紀(jì)錄
- Scout 支持1000萬(wàn)token，可處理20小時(shí)視頻或7500頁(yè)文檔
- iRoPE架構(gòu)：無(wú)位置嵌入+交錯(cuò)注意力層，增強(qiáng)長(zhǎng)文本泛化能力
4. 訓(xùn)練數(shù)據(jù)翻倍，多語(yǔ)言能力更強(qiáng)
- 30萬(wàn)億token訓(xùn)練數(shù)據(jù)（Llama 3的兩倍）
- 支持200種語(yǔ)言，其中100+語(yǔ)言數(shù)據(jù)超10億token
性能實(shí)測(cè)
Meta 官方測(cè)試顯示：? Maverick 在 DocVQA（94.4）超越 DeepSeek V3（92.8）? Behemoth 在 MATH-500（95.0）擊敗 GPT-4.5? Scout 在長(zhǎng)文本檢索任務(wù)中碾壓 OpenAI 模型
開(kāi)源生態(tài)可能的影響
Llama 4 的發(fā)布，讓 開(kāi)源大模型競(jìng)爭(zhēng)開(kāi)始進(jìn)入白熱化：
- DeepSeek V3 剛發(fā)布不久，就被Llama 4超越，傳聞DeepSeek R2 可能提前發(fā)布
- Mistral 3.1、Gemma 3 面臨壓力，Scout 在多項(xiàng)基準(zhǔn)測(cè)試中領(lǐng)先
本文轉(zhuǎn)載自公眾號(hào)AI 博物院 作者：longyunfeigu
原文鏈接：??https://mp.weixin.qq.com/s/6UMydJZGZ58tA9YeoUgsBg??
