作者 | Agam Shah
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
開(kāi)發(fā)者需要AI PC嗎？
目前，沒(méi)有理由勸開(kāi)發(fā)人員購(gòu)買一臺(tái)AI PC，利用其中新的AI處理器來(lái)編譯本地AI模型。
——AI PC 仍存在多個(gè)問(wèn)題：硬件能力不足，模型不可用，開(kāi)發(fā)工具部署起來(lái)頭疼。
我經(jīng)過(guò)幾個(gè)月的測(cè)試，試圖在所謂的搭載Windows 11和專用AI處理器的AI PC上，離線運(yùn)行本地LLM。這些筆記本包括搭載了英特爾和高通神經(jīng)處理器的芯片，專為AI設(shè)計(jì)。
微軟大肆宣傳其AI PC支持輕量級(jí)AI模型，如Meta的Llama 2和微軟的Phi Silica。
我嘗試將這些模型加載到PC上的過(guò)程非常令人沮喪，每一步都不順暢。首先是找到與高通和英特爾芯片中的神經(jīng)處理器兼容的輕量級(jí)模型，然后是加載Jupyter筆記本和運(yùn)行這些SLM所需的神經(jīng)網(wǎng)絡(luò)。
當(dāng)我成功運(yùn)行模型時(shí)，發(fā)現(xiàn)SLM并未使用專用的AI處理器，而是依賴于GPU或CPU。
1.PC廠商的人工智能炒作
微軟在今年的Build大會(huì)上宣布了Copilot+ PC。首批Co-Pilot PC配備了硬件，可以在設(shè)備上運(yùn)行推斷，避免了云端操作。
Copilot PC有一些最低要求，包括至少45 TOPS的最低AI性能要求。第一批搭載高通驍龍芯片的AI PC滿足了這一要求。
微軟CEO薩蒂亞·納德拉表示，公司已經(jīng)準(zhǔn)備了40多個(gè)模型，可以直接在Copilot+ PC上本地運(yùn)行。其中之一是Phi Silica，一個(gè)38億參數(shù)的SLM。
DirectML和ONNX運(yùn)行時(shí)允許用戶在Windows設(shè)備上運(yùn)行Phi-3模型，但高通芯片發(fā)布時(shí)還沒(méi)有準(zhǔn)備好。高通通過(guò)AI開(kāi)發(fā)中心提供了其支持的AI模型清單。
早期嘗試加載Llama v2并不順利，對(duì)我而言沒(méi)有效果。我尋求了高通的幫助來(lái)加載模型，但沒(méi)有明確的結(jié)果。
使用高通推薦的工具創(chuàng)建Jupyter筆記本令人困惑，我無(wú)法手動(dòng)加載任何AI模型。高通建議下載ONNX運(yùn)行時(shí)以利用NPUs，這也令人費(fèi)解。
最近，LMStudio為高通芯片提供了其AI軟件的版本。
我使用LMStudio加載了80億參數(shù)的Llama v3.1模型，但它只使用了驍龍CPU，沒(méi)有利用GPU或NPU。它每秒輸出17.34個(gè)token，但僅幾個(gè)查詢后內(nèi)存使用率就達(dá)到了87%。
目前還沒(méi)有真正有意義的模型能夠利用高通的NPUs，這些處理器與GPU一樣，旨在加速AI。即使NPUs能夠工作，Copilot PC的內(nèi)存也不足以運(yùn)行長(zhǎng)時(shí)間的查詢，而且電池壽命也會(huì)迅速耗盡。
微軟正在為開(kāi)發(fā)者提供工具，將AI能力集成到桌面應(yīng)用程序中。對(duì)他們來(lái)說(shuō)，加載Llama v3.1沒(méi)有必要，因?yàn)樗麄円呀?jīng)在PC上有了Copilot功能。
微軟的Phi Silica支持更多地是為開(kāi)發(fā)者將大語(yǔ)言模型風(fēng)格的查詢能力引入Windows應(yīng)用程序，通過(guò)Windows App SDK。
2.Meteor Lake的失敗
去年底，英特爾推出了一個(gè)名為Meteor Lake的AI PC芯片，配備了神經(jīng)處理單元。
現(xiàn)在，這個(gè)芯片成了一塊擺設(shè)，購(gòu)買了搭載該芯片的筆記本進(jìn)行PC上AI的人被遺棄了。沒(méi)有有用的應(yīng)用程序，NPU僅用于基本的AI模型如TinyLlama。
可以肯定的是，英特爾的Meteor Lake芯片不符合微軟AI PC的最低規(guī)格要求。英特爾聲稱Meteor Lake在AI性能上達(dá)到34 TOPS（每秒萬(wàn)億次運(yùn)算），低于Windows PC所需的40 TOPS。
Meteor Lake受到了差評(píng)。它比上一代筆記本芯片速度更慢，電池壽命沒(méi)有改進(jìn)。
發(fā)布Meteor Lake約六個(gè)月后，英特爾推出了下一代AI PC芯片Lunar Lake，這款芯片已經(jīng)搭載在PC上，提供了120 TOPS的AI性能。
我嘗試在Meteor Lake PC上手動(dòng)運(yùn)行本地AI模型。
加載神經(jīng)網(wǎng)絡(luò)以利用NPU涉及安裝OpenVINO 2024.2，并按照OpenVINO網(wǎng)站上的說(shuō)明操作。
安裝提供了NPU插件，你期望在Jupyter筆記本上加載模型時(shí)運(yùn)行。英特爾說(shuō)我需要正確的NPU驅(qū)動(dòng)程序和固件。
安裝新的NPU驅(qū)動(dòng)程序本身就是一個(gè)挑戰(zhàn)，我必須在Windows的設(shè)備管理器設(shè)置中卸載舊驅(qū)動(dòng)程序，然后檢測(cè)新驅(qū)動(dòng)程序。最后，我只能使用驅(qū)動(dòng)程序搜索來(lái)更新驅(qū)動(dòng)程序。
我從Jupyter筆記本中運(yùn)行了TinyLlama等模型，運(yùn)行得很順利，但給出的答案很差。但與高通一樣，它沒(méi)有利用NPU。
少數(shù)模型如Stable Diffusion 1.4利用了NPU，但是它是直接在GIMP界面中進(jìn)行的。
英特爾的AI軟件開(kāi)發(fā)主要集中在其服務(wù)器CPU上。
3.回到Nvidia
開(kāi)發(fā)者應(yīng)該依靠Nvidia在他們的PC上運(yùn)行Jupyter筆記本以進(jìn)行任何有意義的AI。
購(gòu)買AI PC用于提高生產(chǎn)力，但不適合進(jìn)行與AI相關(guān)的編碼或試驗(yàn)。芯片制造商的NPUs對(duì)開(kāi)發(fā)者不友好。問(wèn)題從啟動(dòng)神經(jīng)網(wǎng)絡(luò)開(kāi)始，每個(gè)芯片制造商都有自己的問(wèn)題。但在設(shè)備上AI是一個(gè)新興領(lǐng)域，為開(kāi)發(fā)者提供了許多優(yōu)化AI的機(jī)會(huì)，如通過(guò)量化來(lái)優(yōu)化PC上的AI。
對(duì)于喜歡冒險(xiǎn)的開(kāi)發(fā)者，典型的Windows挑戰(zhàn)將會(huì)出現(xiàn)——確保你有正確的驅(qū)動(dòng)程序和開(kāi)發(fā)工具包。高通和英特爾都有自己偏好的工具來(lái)編譯和加載模型。
幸運(yùn)的是，Windows命令行和PowerShell使命令行冒險(xiǎn)變得有趣。
預(yù)期能夠利用NPUs的AI功能將預(yù)先打包在應(yīng)用程序中。英特爾正在與公司合作，利用NPUs。這與使軟件與特定芯片架構(gòu)兼容是一樣的。
AI硬件正在迅速發(fā)展，英特爾正在大肆宣傳其最新的Lunar Lake芯片。近期的評(píng)測(cè)稱贊這款芯片具有出色的電池續(xù)航。但不要為了開(kāi)發(fā)目的購(gòu)買它——它沒(méi)有足夠的內(nèi)存或帶寬來(lái)本地運(yùn)行語(yǔ)言模型。
