早上起來(lái)發(fā)現(xiàn)，Meta AI又開源模型，文本模型開源了端側(cè)小模型1B和3B模型，也是首次開源了多模態(tài)大模型11B和90B兩個(gè)版本；同時(shí)還開源了一個(gè) Llama Stack項(xiàng)目。

Blog: https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/
HF: https://huggingface.co/collections/meta-llama/llama-32-66f448ffc8c32f949b04c8cf

其中Llama3.2多模態(tài)模型在圖像識(shí)別和一系列視覺理解任務(wù)方面效果優(yōu)于Claude 3 Haiku 和 GPT4o-mini。文本模型-Llama3.2-3B模型在循指令、總結(jié)、提示重寫和工具使用等任務(wù)上優(yōu)于 Gemma 2 2.6B 和 Phi 3.5-mini 模型。

多模態(tài)模型效果

端側(cè)模型效果

多模態(tài)模型

Llama3.2的11B和90B模型多模態(tài)是基于Llama3.1-8B、70B文本模型上，增量增加圖像模型。

pretrain階段：

• 文本模塊由Llama3.1模型初始化，并初始化圖像編碼器，利用大規(guī)模噪聲（圖像、文本、6B數(shù)據(jù)對(duì)）對(duì)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練
• 再用中等規(guī)模的高質(zhì)量的領(lǐng)域、知識(shí)增強(qiáng)的（圖像、文本、3M數(shù)據(jù)對(duì)）數(shù)據(jù)預(yù)訓(xùn)練。

posting-train階段：

• 通過監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化進(jìn)行多輪對(duì)齊
• 使用 Llama 3.1 模型 過濾和增強(qiáng) 圖像上的問題和答案，利用合成數(shù)據(jù)生成和獎(jiǎng)勵(lì)模型對(duì)所有候選答案打分排序，獲取高質(zhì)量的微調(diào)數(shù)據(jù)
• 還添加了安全數(shù)據(jù)

端側(cè)小模型

1B和3B模型都是基于8B模型裁剪后進(jìn)行模型初始化，并且利用8B和70B模型進(jìn)行模型蒸餾，9T數(shù)據(jù)預(yù)訓(xùn)練。

特別注意，這里蒸餾不是那種通過更大模型進(jìn)行數(shù)據(jù)生成的蒸餾，而是再模型訓(xùn)練階段，利用8B 和 70B 模型輸出的 logits 影響模型loss，也就是傳統(tǒng)的蒸餾方法。

在post-traning階段，訓(xùn)練方式語(yǔ)Llama3.1一致，采樣監(jiān)督微調(diào)、拒絕采樣和直接偏好優(yōu)化模型。

最后模型支持上下文擴(kuò)展到 128K 個(gè)，同時(shí)也針對(duì)性優(yōu)化了模型的多種能力，例如摘要、重寫、指令遵循、語(yǔ)言推理和工具使用。

Llama Stack項(xiàng)目

Github: https://github.com/meta-llama/llama-stack

定義并標(biāo)準(zhǔn)化了將生成式 AI 應(yīng)用程序推向市場(chǎng)所需的構(gòu)建模塊，跨越整個(gè)開發(fā)生命周期：從模型訓(xùn)練和微調(diào)，到評(píng)估，再到在生產(chǎn)環(huán)境中構(gòu)建和運(yùn)行AI Agent。

主要是為了簡(jiǎn)化開發(fā)人員在不同環(huán)境（包括單節(jié)點(diǎn)、本地、云和設(shè)備上）中使用 Llama 模型的方式，幫助快速實(shí)現(xiàn)檢索增強(qiáng)生成、工具使用等能力的快速部署。

本文轉(zhuǎn)載自 ??NLP工作站??，作者： 劉聰NLP