為了推動(dòng)“讓AI無(wú)處不在”的愿景，英特爾在打造AI軟件生態(tài)方面持續(xù)投入，并為行業(yè)內(nèi)一系列全新AI模型提供針對(duì)英特爾AI硬件的軟件優(yōu)化。今日，英特爾宣布公司橫跨數(shù)據(jù)中心、邊緣以及客戶端AI產(chǎn)品已面向Meta最新推出的大語(yǔ)言模型（LLM）Llama 3.1進(jìn)行優(yōu)化，并公布了一系列性能數(shù)據(jù)。

繼今年4月推出Llama 3之后，Meta于7月24日正式發(fā)布了其功能更強(qiáng)大的AI大模型Llama 3.1。Llama 3.1涵蓋多個(gè)不同規(guī)模及功能的全新模型，其中包括目前可獲取的、最大的開(kāi)放基礎(chǔ)模型—— Llama 3.1 405B（4050億參數(shù)）。目前，英特爾豐富的AI產(chǎn)品組合已支持上述最新模型，并通過(guò)開(kāi)放生態(tài)系統(tǒng)軟件實(shí)現(xiàn)針對(duì)性優(yōu)化，涵蓋PyTorch及英特爾^? PyTorch擴(kuò)展包（Intel^? Extension for PyTorch）、DeepSpeed、Hugging Face Optimum庫(kù)和vLLM等。此外，企業(yè)AI開(kāi)放平臺(tái)（OPEA）亦為這些模型提供支持，OPEA這一全新的開(kāi)放平臺(tái)項(xiàng)目是由LF AI & Data基金會(huì)發(fā)起，旨在聚合生態(tài)之力，推動(dòng)創(chuàng)新，構(gòu)建開(kāi)放、多供應(yīng)商的、強(qiáng)大且可組合的生成式AI解決方案。

Llama 3.1多語(yǔ)言大模型組合包含了80億參數(shù)、700億參數(shù)以及4050億參數(shù)（文本輸入/文本輸出）預(yù)訓(xùn)練及指令調(diào)整的生成式AI模型。其每個(gè)模型均支持128k長(zhǎng)文本和八種不同的語(yǔ)言。其中，4050億參數(shù)的Llama 3.1模型在基本常識(shí)、可操作性、數(shù)學(xué)、工具使用和多語(yǔ)言翻譯方面具有行業(yè)領(lǐng)先的能力。同時(shí)，該模型亦幫助開(kāi)發(fā)者社區(qū)解鎖諸如合成數(shù)據(jù)生成和模型蒸餾（Model Distillation）等全新功能。

以下內(nèi)容展示了英特爾的部分AI產(chǎn)品組合運(yùn)行Llama 3.1模型的初步性能結(jié)果，包括英特爾^?至強(qiáng)^?處理器、搭載英特爾^?酷睿? Ultra處理器和英特爾銳炫?顯卡的AI PC產(chǎn)品。

運(yùn)行Llama 3.1時(shí)展現(xiàn)出卓越性能

作為通用計(jì)算的基石，英特爾^?至強(qiáng)^?處理器為全球用戶提供強(qiáng)大算力，現(xiàn)已通過(guò)各大云服務(wù)商面市。英特爾至強(qiáng)處理器在其每個(gè)核心中均內(nèi)置了英特爾^?高級(jí)矩陣擴(kuò)展（AMX）AI引擎，可將AI性能提升至新水平。根據(jù)基準(zhǔn)測(cè)試，在第五代英特爾至強(qiáng)平臺(tái)上以1K token輸入和128 token輸出運(yùn)行80億參數(shù)的Llama 3.1模型，可以達(dá)到每秒176 token的吞吐量，同時(shí)保持下一個(gè)token延遲小于50毫秒。圖1展示了運(yùn)行支持128k長(zhǎng)文本的80億參數(shù)Llama 3.1模型時(shí)，下一個(gè)token延遲可低于100毫秒。

圖1. 基于第五代英特爾^?至強(qiáng)^?可擴(kuò)展處理器的Llama 3.1推理延遲

由英特爾^?酷睿? Ultra處理器和英特爾銳炫?顯卡驅(qū)動(dòng)的AI PC可為客戶端和邊緣提供卓越的設(shè)備端AI推理能力。憑借諸如英特爾酷睿平臺(tái)上的NPU，以及銳炫顯卡上英特爾^? Xe Matrix Extensions加速等專用的AI硬件，在AI PC上進(jìn)行輕量級(jí)微調(diào)和應(yīng)用定制比以往更加容易。對(duì)于本地研發(fā)，PyTorch及英特爾PyTorch擴(kuò)展包等開(kāi)放生態(tài)系統(tǒng)框架可幫助加速。而對(duì)于應(yīng)用部署，用戶則可使用英特爾OpenVINO?工具包在AI PC上進(jìn)行高效的模型部署和推理。AI工作負(fù)載可無(wú)縫部署于CPU、GPU以及NPU上，同時(shí)實(shí)現(xiàn)性能優(yōu)化。

圖2. 在配備內(nèi)置英特爾銳炫^?顯卡的英特爾^?酷睿^? Ultra 7 165H AI PC上，Llama 3.1推理的下一個(gè)token延遲

圖3. 在使用英特爾銳炫^?A770 16GB限量版顯卡的AI PC上，Llama 3.1推理的下一個(gè)token延遲

利用Llama 3.1和OPEA部署企業(yè)RAG解決方案

英特爾AI平臺(tái)和解決方案能夠有助于企業(yè)部署AI RAG。作為OPEA的發(fā)起成員之一，英特爾正幫助引領(lǐng)行業(yè)為企業(yè)AI打造開(kāi)放的生態(tài)系統(tǒng)，同時(shí)，OPEA亦助力Llama 3.1模型實(shí)現(xiàn)性能優(yōu)化。

基于可組合且可配置的多方合作組件，OPEA為企業(yè)提供開(kāi)源、標(biāo)準(zhǔn)化、模塊化以及異構(gòu)的RAG流水線（pipeline）。此次測(cè)試中，微服務(wù)部署于OPEA藍(lán)圖的每一支細(xì)分領(lǐng)域中，包括防護(hù)（Guardrail）、嵌入（Embedding）、大模型、數(shù)據(jù)提取及檢索。端到端RAG流水線通過(guò)Llama 3.1進(jìn)行大模型的推理及防護(hù)，使用BAAI/bge-base-en-v1.5模型進(jìn)行嵌入，基于Redis向量數(shù)據(jù)庫(kù)，并通過(guò)Kubernetes（K8s）系統(tǒng)進(jìn)行編排。

圖4：基于Llama 3.1的端到端RAG流水線，由英特爾Gaudi 2加速器和至強(qiáng)處理器提供支持

目前，英特爾AI PC及數(shù)據(jù)中心AI產(chǎn)品組合和解決方案已面向全新Llama 3.1模型實(shí)現(xiàn)優(yōu)化，OPEA亦在基于英特爾至強(qiáng)等產(chǎn)品上全面啟用。未來(lái)，英特爾將持續(xù)投入軟件優(yōu)化，支持更多全新的模型與用例。