蘋果說(shuō)到做到，一夜間，iPhone果然被AI重塑！

長(zhǎng)達(dá)一個(gè)半小時(shí)的WWDC大會(huì)，主題就是AI、AI、AI——

從iPhone、iPad到Mac，無(wú)不被生成式AI覆蓋。橫空出世的Apple Intelligence，讓蘋果全系產(chǎn)品有了史詩(shī)級(jí)升級(jí)。

圖片

現(xiàn)在的整個(gè)蘋果全家桶，都會(huì)用上GPT-4o，Siri還能隨時(shí)召喚ChatGPT。

硅谷各家大科技公司的大模型發(fā)展得如火如荼，蘋果能做什么？庫(kù)克的這句話揭示了答案——「LLM等AI突破，讓我們有機(jī)會(huì)把蘋果產(chǎn)品的體驗(yàn)推向新的高度」。

你們做模型，我們做產(chǎn)品，的確是蘋果一貫擅長(zhǎng)的賽道。

圖片

而且，對(duì)于大家普遍擔(dān)憂的安全問(wèn)題，蘋果也有解：通過(guò)蘋果強(qiáng)大的自研芯片，普通大模型在設(shè)備端運(yùn)行，太大的大模型就放到云端。

而蘋果專門打造的私密云計(jì)算技術(shù)，也保障了我們的隱私和安全，我們的數(shù)據(jù)就連蘋果都無(wú)法訪問(wèn)。

被Apple Intelligence加持的Siri，也徹底改頭換面，全面逼近蘋果讓它「自由穿梭于系統(tǒng)中，隨時(shí)聽(tīng)我們調(diào)遣」的愿景。

圖片

此外，除了Vision OS的重大更新之外，庫(kù)克的這個(gè)消息也讓中國(guó)用戶激動(dòng)不已：Vision Pro將于6月28日登錄中國(guó)市場(chǎng)，本周五開(kāi)始接受預(yù)定，價(jià)格29999元起！

圖片

網(wǎng)友：蘋果AI滿足了我的所有想象

有中國(guó)網(wǎng)友評(píng)論說(shuō)：太牛了，Apple Intelligence真的滿足了自己對(duì)AI在設(shè)備上的所有想象，不愧是蘋果。

圖片

以前是Artifical Intelligence，如今就是Apple Intelligence了。

圖片

對(duì)于iPadOS 18的數(shù)學(xué)筆記功能，很多人都表示這太狂野了！

圖片

關(guān)于計(jì)算器應(yīng)用終于登錄iPad這一史無(wú)前例的事件，網(wǎng)友們表示萬(wàn)分激動(dòng)。

圖片

OpenAI創(chuàng)始成員，AI大牛Karpathy對(duì)于蘋果的這次更新也稱贊不已：「我們正在進(jìn)入一個(gè)打開(kāi)手機(jī)就可以說(shuō)話的世界。它可以和你對(duì)話，而且它認(rèn)識(shí)你。這實(shí)在太令人興奮了！」

圖片

Karpathy總結(jié)了這次蘋果發(fā)布會(huì)的幾大主題：多模態(tài)輸入/輸出、智能體、無(wú)摩擦、主動(dòng)、分級(jí)售授權(quán)、模塊化、隱私

還有人給這次蘋果的所有更新做出了一張bingo游戲圖。

圖片

Apple Intelligence：不僅個(gè)人化，而且懂你

蘋果的目標(biāo)，就是為全球10億用戶構(gòu)建強(qiáng)大的個(gè)人化產(chǎn)品。

而近期生成式AI和LLM的發(fā)展，直接給蘋果產(chǎn)品使用體驗(yàn)的全新升級(jí)帶來(lái)了可能。

蘋果對(duì)于產(chǎn)品的核心原則是： 足夠強(qiáng)大，在最要緊的事上都能幫到用戶；直觀易用；深度整合到產(chǎn)品的使用體驗(yàn)中；它必須足夠「懂你」，以你的個(gè)人情境為基礎(chǔ)；而且，還要注重保護(hù)隱私。

如果這些原則都能滿足，那它絕不僅僅是AI了，而是一種「?jìng)€(gè)人化智能」。

而符合全部這些條件的Apple Intelligence，就在昨晚閃亮登場(chǎng)了！

為了這一刻，蘋果已經(jīng)準(zhǔn)備了許久

這個(gè)全新的個(gè)人化智能系統(tǒng)，能讓我們手中的個(gè)人化產(chǎn)品更實(shí)用、更稱心。

市場(chǎng)上已有的AI聊天工具雖然好，但有一個(gè)通?。汉苌俪浞至私庥脩?，因而也不理解我們的需求。

而蘋果，要改變這一切。Apple Intelligence，會(huì)讓即將到來(lái)的iOS 18、iPadOS 18和macOS Sequoia，徹底脫胎換骨！

Apple Intelligence，將強(qiáng)大的生成式模型置于iPhone、iPad和Mac的核心，能夠根據(jù)我們所處的個(gè)人情境，來(lái)提供協(xié)助，而且深度整合在了所有的APP中。

能力

Apple Intelligence，可以讓我們的iPhone、iPad和Mac理解、生成語(yǔ)言和圖像，還能代替我們跨多個(gè)app交互，簡(jiǎn)化操作過(guò)程。

它最亮眼的地方，就在于理解我們的「?jìng)€(gè)人情境」。

自然語(yǔ)言

Apple Intelligence中內(nèi)置的LLM，能深刻理解自然語(yǔ)言。

比如，iPhone可以為通知設(shè)定優(yōu)先次序，從而為我們減少不必要的干擾，同時(shí)又能不錯(cuò)過(guò)重要的信息。

它還會(huì)驅(qū)動(dòng)一個(gè)全系統(tǒng)適用的全新書(shū)寫(xiě)工具，讓我們寫(xiě)起東西來(lái)更從容。

它能幫我們重寫(xiě)、校對(duì)，還能提取文字摘要。

在它的幫助下，我們無(wú)論是寫(xiě)文章、發(fā)帖，還是提煉想法分享給他人，過(guò)程都會(huì)無(wú)比絲滑（甚至還能幫我們檢查要發(fā)在網(wǎng)上的評(píng)論）。

同時(shí)，它還自動(dòng)支持郵件、備忘錄、Safari瀏覽器、Pages、Keynote，甚至第三方APP。

圖像

Apple Intelligence還包含多種圖像功能，從照片、表情符號(hào)到動(dòng)圖。

甚至，它還能讓我們完全自創(chuàng)圖像，讓我們的日常對(duì)話更有趣。

更有趣的是，因?yàn)樗J(rèn)得我們照片圖庫(kù)中的人物，我們可以把他們的圖像個(gè)性化，用到對(duì)話中。

比如，給朋友送上生日祝福時(shí)，我們可以生成ta的圖像，用蛋糕、氣球和花朵點(diǎn)綴起來(lái)。

生成的圖像，有素描、插圖、動(dòng)畫(huà)三種風(fēng)格可選。

更讓人驚喜的是，這些功能在系統(tǒng)中所有app都可用，包括Notes，F(xiàn)reeform，Keynote，Pages等等。

圖片

跨app操作

Apple Intelligence的另一個(gè)特點(diǎn)，就是還能跨app操作，這無(wú)疑會(huì)帶來(lái)深遠(yuǎn)的影響。

它所需工具的各種資源，就在我們自己的口袋中——這些常用的app里。

蘋果設(shè)計(jì)的Apple Intelligence，能隨時(shí)取用這些工具，代我們執(zhí)行各種操作。

圖片

我們可以直接向它開(kāi)口：「調(diào)出上周Joz發(fā)給我的文件」，或者「給我看看所有媽媽、Olivia和我的照片」「播放前幾天我太太發(fā)給我的播客」等等。

Apple Intelligence，會(huì)實(shí)現(xiàn)數(shù)百種此類操作。

圖片

個(gè)人情境

顧名思義，個(gè)人化智能最關(guān)鍵的要素之一，就是要深刻理解我們的個(gè)人情境。

而Apple Intelligence的運(yùn)作，正是基于我們的個(gè)人信息都和情境之上的。

它能從我們的各種app中，檢索和分析相關(guān)程度最高的數(shù)據(jù)，還能參考我們屏幕上的內(nèi)容，比如我們正在查看的郵件，或者日歷日程。

圖片

在日常生活中，這個(gè)功能可太有用了！

比如，我有一場(chǎng)會(huì)議改到了傍晚，我想知道開(kāi)完這場(chǎng)會(huì)后，是否還能趕上女兒的演出，直接問(wèn)Apple Intelligence就可以了。

因?yàn)樗牢遗畠菏钦l(shuí)，她幾天前發(fā)來(lái)的演出詳情，我這場(chǎng)會(huì)議的時(shí)間地點(diǎn)，甚至還能預(yù)估我從公司到劇院的交通情況。

圖片

架構(gòu)

這個(gè)個(gè)人化智能系統(tǒng)的基石，就是設(shè)備端處理。

要實(shí)現(xiàn)這項(xiàng)功能，就離不開(kāi)蘋果軟硬件整合，以及強(qiáng)大的芯片。

提供支持的芯片，包括A17 Pro，以及M系列芯片，它們?yōu)锳pple Intelligence提供了堅(jiān)實(shí)的算力基礎(chǔ)。

圖片

它內(nèi)置了設(shè)備端的語(yǔ)義索引，可以整理和提煉各種app中的信息。

我們提出請(qǐng)求，Apple Intelligence就會(huì)同通過(guò)語(yǔ)義索引，識(shí)別相關(guān)個(gè)人數(shù)據(jù)，然后傳給模型，讓它們根據(jù)個(gè)人情境更好地協(xié)助你。

圖片

這個(gè)過(guò)程中用到的大多數(shù)模型，都能在設(shè)備端運(yùn)行。

然而有的模型，會(huì)大到無(wú)法放進(jìn)隨身攜帶的設(shè)備，怎么辦？

答案就是——服務(wù)器。

不過(guò)這里依然有一個(gè)問(wèn)題，在傳統(tǒng)的做法中，服務(wù)器會(huì)儲(chǔ)存我們的數(shù)據(jù)，在我們不知情的情況下使用這些數(shù)據(jù)。我們卻無(wú)法對(duì)之驗(yàn)證，因?yàn)榉?wù)器軟件只有所有者才能訪問(wèn)。

而蘋果的做法，徹底斷絕了這種可能！

我們能全權(quán)掌控自己的數(shù)據(jù)，包括在哪里儲(chǔ)存、誰(shuí)能訪問(wèn)。當(dāng)iPhone上的隱私和安全保護(hù)功能擴(kuò)展到云端，我們就能解鎖更多智能功能了。

為此，蘋果打造了私密云計(jì)算技術(shù)。

圖片

它不僅能擴(kuò)展自身的計(jì)算能力，還能引入更大的基于服務(wù)器的模型，來(lái)處理更復(fù)雜的請(qǐng)求。

而我們的隱私也會(huì)得到保護(hù)，因?yàn)槲覀兊臄?shù)據(jù)絕不會(huì)被存儲(chǔ)，連蘋果都無(wú)法訪問(wèn)。

體驗(yàn)

Apple Intelligence強(qiáng)大的語(yǔ)言理解功能將落地為寫(xiě)作助手（Writing Tool）。

作為操作系統(tǒng)的內(nèi)置AI，寫(xiě)作助手不僅可以用在手機(jī)自帶的短信或郵件中，也同樣支持所有需要輸入的第三方應(yīng)用。

郵件中有了自帶的校對(duì)功能，可以一鍵查看修改建議，并能直接看到所有詞語(yǔ)的釋義。

寫(xiě)郵件時(shí)，再也不需要一遍遍復(fù)制粘貼到其他應(yīng)用的界面了，蘋果一夜之間就搶了Grammarly的看家生意。

圖片

不僅是文本校對(duì)，Writing Tool也同樣提供多樣化的改寫(xiě)功能。

它可以同時(shí)在文中生成多個(gè)改寫(xiě)版本供你選擇，也能隨時(shí)回滾到原始版。

圖片

此外，用戶還能和Writing Tool進(jìn)行個(gè)性化交互，定制自己的改寫(xiě)需求，比如改變文體、文風(fēng)、語(yǔ)氣等等。

想要發(fā)一封有文采的邀請(qǐng)函？Writing Tool可以瞬間幫你把現(xiàn)有的平常文字改寫(xiě)成一首詩(shī)。

圖片

或者一鍵在友好、專業(yè)、簡(jiǎn)潔等三種文風(fēng)間切換，絲滑適應(yīng)不同身份的收件人。

圖片

谷歌都有了網(wǎng)頁(yè)內(nèi)容的摘要，蘋果又怎么能落下。這不郵件的摘要功能就出來(lái)了，拯救所有不想讀長(zhǎng)郵件的打工人。

圖片

郵件太多懶得回？Writing Tool也幫你想好了對(duì)策。

Smart Reply功能可以自動(dòng)理解郵件的上下文內(nèi)容，并自動(dòng)為你生成一堆選擇題。

只需要點(diǎn)擊幾下選出自己的答案，就能生成一份智能回復(fù)，連打字都省了。

圖片

Siri

13年前，Siri首次問(wèn)世，作為曾經(jīng)首屈一指的智能語(yǔ)音助手曾經(jīng)掀起巨大熱度。

如今，繁忙的Siri每天需要處理15億次語(yǔ)音請(qǐng)求。而它離蘋果「自由穿梭于系統(tǒng)中，隨時(shí)聽(tīng)我們調(diào)遣」的愿景，也更近了一步！

在Apple Intelligence的加持下，Siri變得更自然、更貼合語(yǔ)境了，因此也變得更加貼合我們。

如今當(dāng)我們和Siri對(duì)話時(shí)，它和系統(tǒng)的整合會(huì)更深入。當(dāng)它運(yùn)行時(shí)，優(yōu)雅的光暈會(huì)環(huán)繞著屏幕邊緣。

圖片

我們和Siri的對(duì)話也可以更自然，因?yàn)樗芾斫飧S富的語(yǔ)言。即使說(shuō)話不連貫，它都能理解我們的意思。

比如問(wèn)它：明天繆爾海灘是什么天氣，不對(duì)，是繆爾森林。

它會(huì)清晰地理解你的意思，并且給出正確的回答。

圖片

即使我們?cè)谔釂?wèn)中停頓，思考一番，Siri依然能跟上我們。

在對(duì)話中，Siri還能聯(lián)系上下文。比如我們接著上面說(shuō)「創(chuàng)建日歷日程，明天上午9點(diǎn)去那里徒步」，它立馬正確地理解「那里」指的是哪里，完成了指令。

圖片

如果我們不想跟Siri大聲說(shuō)話，現(xiàn)在可以直接給它打字了。

只要在屏幕下方快速輕點(diǎn)兩下，就能讓Siri快速設(shè)好鬧鐘，整個(gè)過(guò)程悄無(wú)聲息。

跟Siri交流的過(guò)程中，我們可以在文字和語(yǔ)音中隨時(shí)切換。

而且，現(xiàn)在Siri掌握了大量關(guān)于功能和設(shè)置的信息，能回答數(shù)千個(gè)問(wèn)題，關(guān)于如何在iPad或Mac上進(jìn)行操作。

圖片

即使我們不知道某項(xiàng)功能的確切名稱，只需要口頭描述一番，Siri就能幫我們找到了！

比如直接問(wèn)它：「我想現(xiàn)在就寫(xiě)好信息，然后明天發(fā)送，該怎么做？」

Siri完全明白我們說(shuō)的是哪個(gè)功能，還提供了分步說(shuō)明。

圖片

Apple Intelligence還會(huì)為Siri帶來(lái)屏幕內(nèi)容感知功能，這樣，它就能理解屏幕上的內(nèi)容，執(zhí)行相應(yīng)的操作。

比如朋友發(fā)消息告訴你ta的新地址，你可以直接在信息對(duì)話中說(shuō)，「把這個(gè)地址加入ta的聯(lián)系人名片中」。

圖片

當(dāng)然，Siri也可以完成跨app操作。

比如我們可以說(shuō)：「讓我看看Stacey在紐約穿著粉色大衣的照片」，Siri就會(huì)把它們找出來(lái)，然后還能按照我們的指令開(kāi)始修圖。

圖片

然后，我們還可以讓Siri把這張照片加到備忘錄中Stacey的簡(jiǎn)介里，它就會(huì)從照片app跳轉(zhuǎn)到備忘錄app中，來(lái)完成操作。

這些增強(qiáng)功能，也并不限于蘋果開(kāi)發(fā)的APP。

比如，我們可以讓Siri用Moment的Pro Camera，來(lái)拍攝光軌的視頻。

圖片

也可以讓Siri把我們備忘錄里的會(huì)議摘要，分享到我們?cè)赟uperhuman中給大家寫(xiě)的郵件里。

下面的這個(gè)功能，就更酷炫了！

通過(guò)為照片、日歷日程、文件等創(chuàng)建語(yǔ)義索引，再加上往來(lái)消息和郵件的信息，比如預(yù)定酒店、音樂(lè)會(huì)門票的PDF文件、朋友分享的鏈接等，Siri能發(fā)現(xiàn)和理解的內(nèi)容范圍，將遠(yuǎn)超以往。

如果我們忘了資料是在郵件、信息還是在共享備忘錄里，Siri都能解決。比如我們需要找到朋友之前推薦的書(shū)單，或者是填表時(shí)需要駕照號(hào)碼。

圖片

假如我們打算去機(jī)場(chǎng)接?jì)寢專琒iri能直接幫我們規(guī)劃時(shí)間。

它能同時(shí)參考媽媽在郵件里寫(xiě)的航班詳情，以及航班的實(shí)時(shí)動(dòng)態(tài)，為我們提供最新的到達(dá)時(shí)間。

而在和媽媽的閑聊中，她提到過(guò)中午訂了餐廳，我們就可以直接問(wèn)Siri去那家餐廳需要多久，完全不必在郵件、信息和地圖中跳來(lái)跳去了！

如蘋果所說(shuō)，今年將成為Siri新紀(jì)元的起點(diǎn)。

蘋果「全家桶」用上GPT-4o

以上所展示的蘋果AI能力，僅是一個(gè)「起點(diǎn)」。它能夠以極為獨(dú)特的方式理解你、尊重你、支持你。

未來(lái)，蘋果還將帶來(lái)超多的實(shí)用功能，比如備忘錄中的錄音和轉(zhuǎn)寫(xiě)功能。

圖片

它能夠幫你更詳細(xì)地記下筆記，專心聽(tīng)講，完全可以替代GoodNotes、Notability這類的學(xué)習(xí)工具。

錄音/轉(zhuǎn)寫(xiě)完成后，蘋果AI還能幫你總結(jié)摘要，掃一眼便能抓住要點(diǎn)。

圖片

與此同時(shí)，錄音/轉(zhuǎn)寫(xiě)和蘋果AI結(jié)合的能力，同樣適用于電話應(yīng)用。

當(dāng)你實(shí)時(shí)通話的時(shí)候，開(kāi)啟錄音，所有的參與者都將會(huì)收到通知，并且通話結(jié)束后蘋果AI也會(huì)生成一段摘要。

圖片

Siri召喚ChatGPT

對(duì)于一些非常有用的外部AI工具，比如擅長(zhǎng)處理某些需要廣博知識(shí)，或者專業(yè)特長(zhǎng)的任務(wù)，蘋果直接將其模型納入體驗(yàn)之中，而無(wú)需來(lái)回切換工具。

當(dāng)然，這個(gè)工具就是行業(yè)的翹楚、市場(chǎng)的開(kāi)拓者和領(lǐng)頭羊—— ChatGPT。

蘋果AI將用上全新的GPT-4o能力。

首先，Siri可以借助ChatGPT的專長(zhǎng)，隨時(shí)為我們所用。

比如，你想用剛釣的魚(yú)，和自家種的菜為朋友準(zhǔn)備一頓豐盛的大餐時(shí)，可以找Siri給些靈感。

Siri便會(huì)問(wèn)你，是否召喚ChatGPT，然后直接為你呈上最豐富的答案。

圖片

而且，問(wèn)問(wèn)題時(shí)，你還可以上傳一張照片。比如，詢問(wèn)如何家裝的建議，拍張照片然后問(wèn)「這個(gè)露臺(tái)種什么植物好看」？

Siri會(huì)首先確認(rèn)是否會(huì)向ChatGPT分享照片，然后才會(huì)為你找尋點(diǎn)子，整個(gè)過(guò)程完全就是一氣呵成。

圖片

除了照片，你還可以詢問(wèn)關(guān)于文檔、演示文稿，或者PDF中的相關(guān)問(wèn)題。

另外，蘋果AI還借用了ChatGPT的編寫(xiě)能力，將其融入所有系統(tǒng)中適用的書(shū)寫(xiě)任務(wù)中。

假設(shè)你想為擅長(zhǎng)解謎的6歲女兒寫(xiě)一個(gè)睡前故事，初步構(gòu)想是「她來(lái)到了夢(mèng)幻的蝴蝶童話王國(guó)。她和一只毛毛蟲(chóng)成為了好友，并幫它克服重重困難，最終變成了一只蝴蝶」。

只見(jiàn)，ChatGPT不一會(huì)兒功夫完成了一個(gè)Annie喜歡的小故事。

圖片

甚至，你還可以選中所有內(nèi)容，讓ChatGPT為其生成一副插畫(huà)。

圖片

以上所有能力，無(wú)需注冊(cè)ChatGPT，便可免費(fèi)使用。

對(duì)于那些訂閱ChatGPT的用戶們，也可以關(guān)聯(lián)自己的賬號(hào)，可以在使用蘋果AI過(guò)程中接入付費(fèi)的能力。

不過(guò)，蘋果再三強(qiáng)調(diào)，我們的請(qǐng)求和個(gè)人信息不會(huì)被記錄。何時(shí)使用ChatGPT，都是你說(shuō)了算，再分享任何信息之前，都會(huì)征求用戶的許可。

ChatGPT也將集成到這次所有更新的iOS 18、iPadOS 18、macOS Sequoia系統(tǒng)中，并在今年晚些時(shí)候推出。

未來(lái)，其他先進(jìn)的AI模型的能力，也會(huì)集成到蘋果AI之中。

不出所料，蘋果AI能力僅限在iPhone15級(jí)別的手機(jī)上使用，不過(guò)對(duì)于iPad、MacBook還比較友好些，能夠兼容M1芯片及以上的硬件。

圖片

馬老板怒了，禁止全員使用蘋果

ChatGPT在蘋果全家桶中無(wú)縫集成能力雖炫酷，卻遭到的全網(wǎng)非議。

最先反對(duì)的就是馬老板！

他連發(fā)多篇帖子，對(duì)ChatGPT上機(jī)蘋果表示不滿，甚至揚(yáng)言禁止公司所有成員使用蘋果的設(shè)備。

圖片

我不想要這個(gè)能力。這就如同間諜軟件一般，如果你們不阻止，我的公司將禁止使用任何蘋果設(shè)備。

圖片

另外，馬斯克還單獨(dú)發(fā)帖子稱：

「對(duì)于公司的外部來(lái)訪者，都必須在門口將他們的設(shè)備放在「法拉第籠」（Faraday cage）中」。

圖片

蘋果沒(méi)有能力開(kāi)發(fā)AI，卻能夠確保OpenAI會(huì)保護(hù)你的安全和隱私。一旦蘋果將你的數(shù)據(jù)交給OpenAI，他們就不知道OpenAI究竟會(huì)如何處理這些數(shù)據(jù)，他們實(shí)際上是在出賣你的隱私權(quán)。

圖片

圖片

也有眾多網(wǎng)友對(duì)蘋果的這項(xiàng)能力，產(chǎn)生了質(zhì)疑。

一位網(wǎng)友從底層架構(gòu)圖中得出，Siri可以讀取手機(jī)上的所有數(shù)據(jù)（適用于選擇加入的應(yīng)用程序） 。

圖片

圖片

一家AI初創(chuàng)的CEO表示，

老實(shí)說(shuō)，我真不理解蘋果為什么要把任何東西發(fā)送給ChatGPT？這太怪異了。為什么不直接讓Meta授權(quán)，然后自己部署400B的Llama模？從70B開(kāi)始也可以呀...

他們口口聲聲強(qiáng)調(diào)隱私和安全，甚至聲稱你不應(yīng)該相信任何人！結(jié)果他們卻來(lái)了個(gè)180度大轉(zhuǎn)彎——是的，我們正在把你的數(shù)據(jù)發(fā)送給ChatGPT。

圖片

還有人配上梗圖諷刺道，「當(dāng)奧特曼已耗盡100%互聯(lián)網(wǎng)訓(xùn)練數(shù)據(jù)時(shí)，看到十億部手機(jī)時(shí)」。

圖片

蘋果AI背后模型訓(xùn)練過(guò)程揭秘

發(fā)布會(huì)之外，蘋果還發(fā)布了一篇關(guān)于介紹蘋果AI能力實(shí)現(xiàn)背后的基礎(chǔ)模型的文章。

圖片

博客介紹道，蘋果AI是由「多個(gè)」強(qiáng)大的生成式AI模型組成，這些模型專用于日常任務(wù)，并根據(jù)當(dāng)前活動(dòng)實(shí)時(shí)調(diào)整。

他們強(qiáng)調(diào)，內(nèi)置的基礎(chǔ)模型針對(duì)用戶體驗(yàn)進(jìn)行了微調(diào)，比如編寫(xiě)和提煉文本、對(duì)通知優(yōu)先排序匯總等等。

圖片

接下來(lái)，蘋果詳細(xì)介紹了兩個(gè)經(jīng)過(guò)微調(diào)建模的模型：

一是，可以運(yùn)行在終端設(shè)備中的30一參數(shù)模型。

另一個(gè)是，更大的基于蘋果芯片加持云服務(wù)器的基礎(chǔ)模型，可用于私有云計(jì)算。

其他模型還包括，用于編碼的XCode，擴(kuò)散模型（幫助用戶如在Messages應(yīng)用中，以視覺(jué)方式表達(dá)自我）。

預(yù)訓(xùn)練

蘋果的基礎(chǔ)模型，是在2023年發(fā)布的開(kāi)源項(xiàng)目AXLearn框架之上訓(xùn)練的。

AXLearn建立在JAX和XLA之上，可以在各種訓(xùn)練硬件和云平臺(tái)上高效、可擴(kuò)展地訓(xùn)練模型，包括TPU和云端及本地GPU。

另外，蘋果研究團(tuán)隊(duì)還采用了數(shù)據(jù)并行、張量并行、序列并行和全分片數(shù)據(jù)并行（FSDP）等組合方式，從數(shù)據(jù)、模型和序列長(zhǎng)度等多個(gè)維度來(lái)擴(kuò)展訓(xùn)練規(guī)模。

圖片

至于數(shù)據(jù)的選用，蘋果表示自己用的是授權(quán)的數(shù)據(jù)訓(xùn)練基礎(chǔ)模型。

其中包括兩種數(shù)據(jù)來(lái)源：一是經(jīng)過(guò)精心選擇，目的是提升模型的特定功能；二是，蘋果網(wǎng)絡(luò)爬蟲(chóng)AppleBot工具從網(wǎng)上公開(kāi)采集的數(shù)據(jù)。

后訓(xùn)練

蘋果團(tuán)隊(duì)意識(shí)到，數(shù)據(jù)質(zhì)量對(duì)于模型的成功，至關(guān)重要。

因此，他們?cè)谟?xùn)練過(guò)程中，采用了「混合數(shù)據(jù)策略」，即結(jié)合使用人工標(biāo)注和AI生成數(shù)據(jù)，并進(jìn)行了徹底的數(shù)據(jù)篩選和處理。

具體來(lái)說(shuō)，研究團(tuán)隊(duì)在模型「后訓(xùn)練」階段，開(kāi)發(fā)了兩種全新的算法：

(1) 拒絕抽樣的微調(diào)算法，使用多個(gè)教師模型作為參考，對(duì)模型輸出進(jìn)行過(guò)過(guò)濾和微調(diào)

(2) 人類反饋強(qiáng)化學(xué)習(xí)算法，結(jié)合使用了鏡像下降策略優(yōu)化，以及留一法優(yōu)勢(shì)估計(jì)器（leave-one-out advantage estimator）新技術(shù)。

結(jié)果發(fā)現(xiàn)，這兩種算法可以顯著提升模型指令跟隨的質(zhì)量。

圖片

優(yōu)化

另外，蘋果還采用了一系列創(chuàng)新技術(shù)，在設(shè)備端和私有云上優(yōu)化模型的速度和效率。

他們對(duì)第一個(gè)token推理和擴(kuò)展token推理的性能都進(jìn)行了大量的優(yōu)化。

無(wú)論是設(shè)備端模型還是服務(wù)器端模型，都采用了「分組查詢注意力機(jī)制」（grouped-query-attention）。

蘋果還使用了共享的輸入和輸出詞表，以減少內(nèi)存需求和推理成本。這些共享的嵌入張量在映射時(shí)不會(huì)產(chǎn)生重復(fù)。

設(shè)備端模型的詞表大小為49k token，而服務(wù)器端模型的詞表大小為100k token。

對(duì)于設(shè)備內(nèi)推理，他們還是用了「低比特量化」（low-bit palletization）的技術(shù)，能滿足所需的內(nèi)存、功耗和性能要求。

為了保持模型輸出質(zhì)量，研究團(tuán)隊(duì)開(kāi)發(fā)了一種新框架——使用LoRA adapter，并采用了混合2位和4位的配置策略，平均每個(gè)權(quán)重占3.5位——從而達(dá)到與未壓縮模型相同的精度水平。

此外，他們還使用了一種名為「Talaria」模型，可以對(duì)模型的延遲和功耗進(jìn)行交互式分析，更好地指導(dǎo)在不同操作中選擇合適的量化精度。

蘋果基礎(chǔ)模型還采用了激活值量化和嵌入量化技術(shù)，并且開(kāi)發(fā)了一種在蘋果神經(jīng)網(wǎng)絡(luò)引擎上高效更新鍵值緩存的方法。

值得一提的是，通過(guò)以上優(yōu)化，iPhone 15 Pro可實(shí)現(xiàn)每個(gè)提示token首次輸出的延遲約為0.6毫秒，生成速率為每秒30個(gè)token。

這一性能實(shí)現(xiàn)，并未采用token猜測(cè)技術(shù)，如若開(kāi)啟，速度將會(huì)更近一步提升。

模型自適應(yīng)

蘋果基礎(chǔ)模型針對(duì)用戶日常任務(wù)進(jìn)行了微調(diào)，并且能夠根據(jù)實(shí)時(shí)任務(wù)完成動(dòng)態(tài)化適應(yīng)。

這一過(guò)程實(shí)現(xiàn)，是借助適配器，即一些可以插入到預(yù)訓(xùn)練模型各層的小型神經(jīng)網(wǎng)絡(luò)模塊，對(duì)模型進(jìn)行特定任務(wù)的微調(diào)。

通過(guò)調(diào)整適配器中注意力相關(guān)的參數(shù)和前饋網(wǎng)絡(luò)的參數(shù)，可以讓整個(gè)LLM的行為專門化到特定任務(wù)上。

圖片

性能與評(píng)估

針對(duì)總結(jié)功能的評(píng)估中，蘋果與微軟Phi-3-mini小模型進(jìn)行了對(duì)比。

可以看得出，不論是在郵件、還是通知中，蘋果設(shè)備端30億參數(shù)的模型在「優(yōu)秀」和「差」的生成中更占優(yōu)勢(shì)。

圖片

蘋果還將自家模型，與開(kāi)源模型（Phi-3、Gemma、Mistral、DBRX）和商業(yè)模型（GPT-3.5-Turbo、GPT-4-Turbo）進(jìn)行了比較。

結(jié)果發(fā)現(xiàn)，人類評(píng)估者更傾向于蘋果模型輸出的結(jié)果。

在這個(gè)基準(zhǔn)測(cè)試中，30億參數(shù)設(shè)備端模型的表現(xiàn)甚至超過(guò)了更大的模型，如Phi-3-mini、Mistral-7B和Gemma-7B。

而服務(wù)器端模型在性能上，甚至可與DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo相媲美，同時(shí)效率極高。

圖片

對(duì)于模型輸出危害評(píng)估，蘋果模型比率最低，說(shuō)明輸出有毒內(nèi)容較少。

圖片

與此同時(shí)，蘋果模型在安全提示的評(píng)估中，設(shè)備端模型完全碾壓Phi-3-mini、Mistral-7B，服務(wù)端模型打敗了DBRX-Instruct、Mixtral-8x22B。

圖片

在指令跟隨（IFEval）基準(zhǔn)上，與其他模型相比，蘋果模型展現(xiàn)出了強(qiáng)大的能力。

圖片

最后一個(gè)是寫(xiě)作基準(zhǔn)，終端上的蘋果基礎(chǔ)模型，是性能最優(yōu)的。在服務(wù)器端，作文方面的能力還是不如GPT-4 Turbo。

圖片

二代VisionOS更新，蘋果頭顯月底登陸中國(guó)

據(jù)上次發(fā)布Vision Pro和Vision OS剛剛過(guò)去4個(gè)月，蘋果就又在WWDC上宣布了Vision OS的重大更新。

而且，還有讓中國(guó)用戶更加激動(dòng)的消息——

庫(kù)克在發(fā)布會(huì)上正式官宣，Vision Pro 將于6月28日登陸中國(guó)市場(chǎng)，將于本周五（6月14日）開(kāi)始接受預(yù)定，國(guó)行價(jià)格為29999元起。

圖片

Vision Pro中的照片App集成了空間計(jì)算技術(shù)，戴上就可以瀏覽「3D」照片，讓你有走進(jìn)照片、「重現(xiàn)過(guò)去」的感覺(jué)。

最新的iPhone 15 Pro和Max的后置鏡頭已經(jīng)可以拍攝空間影像，蘋果也和佳能合作為專業(yè)照相機(jī)開(kāi)發(fā)了空間鏡頭。

圖片

那以前拍攝的傳統(tǒng)平面照片呢？

自然也不能落下。Vision Pro集成的機(jī)器學(xué)習(xí)模型，可以將照片從單視角變?yōu)殡p眼視角，還能添加圖像深度，瞬間2D變3D。

圖片

之前的Vision Pro已經(jīng)可以和Mac集成，蘋果這次決定升級(jí)Vision中的虛擬屏幕，同時(shí)提高分辨率和屏幕寬度。

今年的更新后，一個(gè)Vision Pro相當(dāng)于電腦的兩個(gè)4k外接屏幕，動(dòng)態(tài)注視點(diǎn)技術(shù)讓你無(wú)論從哪個(gè)角度看屏幕都無(wú)比清晰。

圖片

而且，這個(gè)虛擬屏可以隨時(shí)打開(kāi)，比如「旅行模式」可以讓你在飛機(jī)上隨時(shí)大屏追劇或私密辦公。

圖片

Vision Pro想要變得越來(lái)越好用，讓以上這些功能走入現(xiàn)實(shí)，不能少了開(kāi)發(fā)者的App和創(chuàng)作者的優(yōu)質(zhì)內(nèi)容。

目前已經(jīng)有超過(guò)2000個(gè)專門為Vision Pro開(kāi)發(fā)App，以及其他1.5萬(wàn)個(gè)兼容VisionPro的手機(jī)或平板應(yīng)用。

這次Vision Pro的更新也包括了各種服務(wù)于開(kāi)發(fā)者的API：

- 3D空間內(nèi)的多任務(wù)處理器Volumetric（可以說(shuō)是Vision Pro上的Stage Manager）

- 讓?xiě)?yīng)用錨定在各種平面上的TableTopKit

- Enterprise API讓企業(yè)可以定制各種復(fù)雜應(yīng)用

圖片

比如使用TableTopKit開(kāi)發(fā)棋牌游戲，讓棋盤錨定在桌面上，加上顯示在空間中的FaceTime的頭像，下棋的體驗(yàn)就更加沉浸式了。

圖片

去年Vision Pro發(fā)布了Apple Immersive Video，經(jīng)過(guò)今年的再次更新，蘋果始終萎靡不振的內(nèi)容產(chǎn)業(yè)很可能要翻盤了。

現(xiàn)在它的手里掌握著各路流媒體都不具有的空間影像技術(shù)。180度視角的8k視頻加上高品質(zhì)的音效，達(dá)到了甚至超越3D影院的逼真體驗(yàn)。

圖片

而且這次的發(fā)布非常垂直，打包了3D空間視頻的全產(chǎn)業(yè)鏈。

對(duì)于業(yè)余愛(ài)好者，拍攝可以用iPhone或與蘋果合作的佳能相機(jī)，剪輯可以用Mac自帶的Final Cut Pro，觀看可以用Vision OS中的Vimeo。

在專業(yè)創(chuàng)作領(lǐng)域，蘋果和創(chuàng)意視頻公司Black Magic Design合作，從攝像機(jī)到剪輯、后期軟件全覆蓋，今年晚些時(shí)候就會(huì)發(fā)布。

圖片

此外，蘋果還和多方合作，制作原創(chuàng)的Apple Immersive Video并發(fā)布在Apple TV中。

合作方在內(nèi)容領(lǐng)域都是大名鼎鼎，包括頂級(jí)歌手The Weekend、奧斯卡獎(jiǎng)導(dǎo)演Edward Berger，以及與紅牛制作的極限運(yùn)動(dòng)系列。

參考資料：

https://developer.apple.com/videos/play/wwdc2024/101/

https://machinelearning.apple.com/research/introducing-apple-foundation-models