今年蘋果WWDC全球開發(fā)者大會(huì)上為我們帶來(lái)了軟硬件的更新。其中，蘋果Core ML框架也帶來(lái)了三項(xiàng)更新：更多的層類型，對(duì)模型加密的更多支持，以及在CloudKit上托管模型更新能力。

移動(dòng)端機(jī)器學(xué)習(xí)不再是2020年熱門新事物，將應(yīng)用程序智能化早已成為行業(yè)的標(biāo)準(zhǔn)做法。

去年，蘋果公司對(duì)Core ML進(jìn)行了重大更新。今年的更新要簡(jiǎn)單得多：更多的層類型，對(duì)模型加密的更多支持，以及在CloudKit上托管模型更新能力。

CoreML是一個(gè)Apple框架，用于將機(jī)器學(xué)習(xí)模型集成到應(yīng)用程序中。

其優(yōu)勢(shì)是，Core ML通過(guò)利用CPU，GPU和神經(jīng)引擎來(lái)優(yōu)化設(shè)備上的性能，同時(shí)最大程度地減少其內(nèi)存占用空間和功耗，嚴(yán)格在用戶設(shè)備上運(yùn)行模型將消除對(duì)網(wǎng)絡(luò)連接的任何需求，這有助于保持用戶數(shù)據(jù)的私密性和應(yīng)用程序的響應(yīng)速度。

Core ML 還是一些其他蘋果框架和功能的基礎(chǔ)。CoreML是視覺處理，自然語(yǔ)言，speech轉(zhuǎn)換音頻文本，以及音頻識(shí)別的核心模型，Core ML 本身構(gòu)建于低層面的原語(yǔ)之上，比如 Accelerate and BNNS 和 Metal Performance Shaders。

更多的層類型，為Core ML帶來(lái)更多的功能

這些新的層類型是：

新的層類型只能在高版本中被使用，這意味著系統(tǒng)必須是iOS 14和macOS 11.0，或者更高的版本。

另一個(gè)有用的改進(jìn)是針對(duì)InnerProductLayer、BatchedMatMulLayer的8位量化操作。

在Core ML的早期版本中，用戶可以量化權(quán)重，但是在加載模型時(shí)權(quán)重將被反量化為浮點(diǎn)數(shù)。利用新的 int8DynamicQuantize 功能，權(quán)重在加載時(shí)保持為8位整數(shù)值，并且實(shí)際計(jì)算也使用整數(shù)進(jìn)行。

使用INT8進(jìn)行計(jì)算的潛力很大，就速度上而言可能比浮點(diǎn)運(yùn)算快得多。但是研究人員指出，這是否僅對(duì)CPU而非GPU有利，因?yàn)镚PU確實(shí)更喜歡浮點(diǎn)。也許即將發(fā)布的Neural Engine的更新將支持INT8操作。

CPU上的Core ML現(xiàn)在也可以使用16位浮點(diǎn)運(yùn)算而不是32 位浮點(diǎn)運(yùn)算（在A11 Bionic及更高版本上）。16位浮點(diǎn)數(shù)現(xiàn)在是一流的Swift數(shù)據(jù)類型。通過(guò)CPU本身支持的16位浮點(diǎn)數(shù)，Core ML的速度可以提高兩倍以上！

在CloudKit上，可以實(shí)現(xiàn)托管模型更新

這項(xiàng)新的Core ML功能可讓用戶獨(dú)立于應(yīng)用程序更新模型。

現(xiàn)有應(yīng)用程序無(wú)需發(fā)布應(yīng)用程序更新，而只需下載mlmodel文件的新版本。這不是一個(gè)新的想法，一些第三方供應(yīng)商都為此提供了SDK，自己構(gòu)建它也不難。

使用Apple解決方案的優(yōu)點(diǎn)是模型托管在Apple Cloud上。

用戶的應(yīng)用程序中可能有多個(gè)模型，模型集合可以將多個(gè)模型捆綁在一起，更新時(shí)應(yīng)用程序便會(huì)立即更新所有模型。用戶可以在CloudKit儀表板上創(chuàng)建這些集合。在應(yīng)用程序中，用戶還可以使用MLModelCollection下載和管理模型更新。

為了準(zhǔn)備要部署的Core ML模型，Xcode中有一個(gè)Create Model Archive按鈕。這將寫入一個(gè).mlarchive文件。用戶可以將此模型版本上傳到CloudKit儀表板，然后將其放入模型集合中。（mlarchive實(shí)際上只是一個(gè)包含mlmodelc文件夾內(nèi)容的zip文件。）

另一個(gè)不錯(cuò)的功能是用戶可以將不同的模型集合部署到不同的用戶。比如，iPhone上的攝像頭與iPad上的攝像頭不同，因此用戶可能需要?jiǎng)?chuàng)建模型的兩個(gè)版本，然后將一個(gè)發(fā)送給該應(yīng)用程序的iPhone端，另一個(gè)發(fā)送給iPad端。

用戶可以為設(shè)備（iPhone / iPad /電視/手表），操作系統(tǒng)和版本，區(qū)域代碼，語(yǔ)言代碼和應(yīng)用版本創(chuàng)建定位規(guī)則。

新模型的版本部署不是立即進(jìn)行的。應(yīng)用程序需要先在某個(gè)時(shí)刻檢測(cè)到新模型可用，并自動(dòng)下載該模型，將其放置在應(yīng)用程序的沙箱中。但是用戶無(wú)法控制何時(shí)或如何發(fā)生這種情況，Core ML可能會(huì)在不使用手機(jī)時(shí)在后臺(tái)執(zhí)行下載。

因此，最好將使用內(nèi)置模型作為后備選項(xiàng)來(lái)交付應(yīng)用程序，比如可以同時(shí)處理iPhone和iPad的通用模型。

模型加密，讓專有技術(shù)不再被盜用

以往，竊取用戶的Core ML模型再將其粘貼到其他應(yīng)用程序中，是一件非常容易的事情。

從iOS 14 / macOS 11.0開始，Core ML可以自動(dòng)加密和解密模型，陌生人便不可以窺視用戶的mlmodelc文件夾。不管用戶有沒有新的CloudKit部署，都可以加密。

Xcode加密編譯的模型mlmodelc不是原始的mlmodel文件。這個(gè)模型在用戶設(shè)備上會(huì)永久加密。

當(dāng)應(yīng)用程序?qū)嵗Ｐ蜁r(shí)，Core ML才會(huì)自動(dòng)對(duì)其解密。此解密版本不會(huì)在任何位置存儲(chǔ)為文件，僅儲(chǔ)存在內(nèi)存中。

首先，用戶需要一個(gè)加密密鑰，而用戶并不需要管理此密鑰。Xcode的Core ML模型查看器中現(xiàn)在有一個(gè)「創(chuàng)建加密密鑰」按鈕。當(dāng)用戶單擊此按鈕時(shí)，Xcode會(huì)生成一個(gè)與Apple開發(fā)人員團(tuán)隊(duì)帳戶關(guān)聯(lián)的新加密密鑰。

此過(guò)程將創(chuàng)建一個(gè)新的.mlmodelkey文件。該密鑰存儲(chǔ)在Apple的服務(wù)器上，但是用戶還可以獲得在Xcode中加密模型所需的本地副本，無(wú)需在應(yīng)用程序中嵌入此加密密鑰。

若要加密Core ML模型，用戶可以添加--encrypt YourModel.mlmodelkey到模型的編譯器標(biāo)志?；蛘呷绻褂肅loudKit部署，需在創(chuàng)建模型檔案時(shí)需要提供加密密鑰。

要在應(yīng)用程序?qū)嵗臅r(shí)候解密模型，Core ML將需要通過(guò)網(wǎng)絡(luò)從Apple的服務(wù)器中獲取加密密鑰，因此顯然需要網(wǎng)絡(luò)連接。Core ML僅在用戶第一次使用該模型時(shí)需要連接網(wǎng)絡(luò)。

如果網(wǎng)絡(luò)中斷并且尚未下載加密密鑰，則應(yīng)用將無(wú)法實(shí)例化Core ML模型。因此，用戶應(yīng)該使用新YourModel.load()功能。它可以完成處理程序并提示用戶響應(yīng)加載的錯(cuò)誤。

這個(gè)功能很容易在應(yīng)用程序中實(shí)現(xiàn)，很好的解決了盜用專有技術(shù)的問題。

此外，Create ML在今年也有了很大的改進(jìn)， 提供了新的模板和訓(xùn)練功能。

用戶使用Xcode 12的新版本，可以暫停訓(xùn)練并繼續(xù)，保存模型檢查點(diǎn)，并預(yù)覽模型的運(yùn)行狀況，用戶可以更好地控制訓(xùn)練過(guò)程。在CreateML.framework中，還提供了更多針對(duì)視覺和自然語(yǔ)言的 API。