當(dāng)?shù)貢r(shí)間本周二，谷歌在 Google’s Cloud Next 2024 上發(fā)布了一系列 AI 相關(guān)的模型更新和產(chǎn)品，包括 Gemini 1.5 Pro 首次提供了本地音頻（語(yǔ)音）理解功能、代碼生成新模型 CodeGemma、首款自研 Arm 處理器 Axion 等等。

Gemini 1.5 Pro

Gemini 1.5 Pro 是 Google 功能最強(qiáng)大的生成式 AI 模型，現(xiàn)已在 Google 以企業(yè)為中心的 AI 開(kāi)發(fā)平臺(tái) Vertex AI 上提供公共預(yù)覽版。這是谷歌面向企業(yè)的 AI 開(kāi)發(fā)平臺(tái)。它能處理的上下文從 12.8 萬(wàn)個(gè) token 增加到 100 萬(wàn)個(gè) token。100 萬(wàn)個(gè) token 大約相當(dāng)于 70 萬(wàn)個(gè)單詞，或者大約 3 萬(wàn)行代碼。這大致是 Anthropic 的旗艦?zāi)Ｐ?Claude 3 能作為輸入處理的數(shù)據(jù)量的四倍，也大約是 OpenAI 的 GPT-4 Turbo 最大上下文量的八倍。

官方原文鏈接：https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html

該版本首次提供了本地音頻（語(yǔ)音）理解功能和全新的文件 API，使文件處理變得更加簡(jiǎn)單。Gemini 1.5 Pro 的輸入模態(tài)正在拓展，包括在 Gemini API 和 Google AI Studio 中增加對(duì)音頻（語(yǔ)音）的理解。此外，Gemini 1.5 Pro 現(xiàn)在能夠?qū)υ?Google AI Studio 中上傳的視頻的圖像（幀）和音頻（語(yǔ)音）進(jìn)行推理。

可以上傳一個(gè)講座的錄音，比如這個(gè)由 Jeff Dean 進(jìn)行的超過(guò) 117000 個(gè) token 的講座，Gemini 1.5 Pro 可以將其轉(zhuǎn)換成一個(gè)帶有答案的測(cè)驗(yàn)。（演示已加速）

谷歌在 Gemini API 方面也進(jìn)行了改進(jìn)，主要有以下三個(gè)內(nèi)容：

1. 系統(tǒng)指令：現(xiàn)在可以在 Google AI Studio 和 Gemini API 中使用系統(tǒng)指令來(lái)指導(dǎo)模型的響應(yīng)。定義角色、格式、目標(biāo)和規(guī)則，以針對(duì)您的特定用例指導(dǎo)模型的行為。

在 Google AI Studio 中輕松設(shè)置系統(tǒng)指令

2.JSON 模式：指示模型僅輸出 JSON 對(duì)象。這種模式使從文本或圖像中提取結(jié)構(gòu)化數(shù)據(jù)成為可能?，F(xiàn)在可以使用 cURL，Python SDK 支持即將推出。

3. 對(duì)函數(shù)調(diào)用的改進(jìn)：現(xiàn)在可以選擇模式來(lái)限制模型的輸出，提高可靠性。選擇文本、函數(shù)調(diào)用或僅函數(shù)本身。

此外，谷歌將發(fā)布下一代文本嵌入模型，其性能優(yōu)于同類(lèi)模型。從今天開(kāi)始，開(kāi)發(fā)者將能夠通過(guò) Gemini API 訪問(wèn)下一代文本嵌入模型。這個(gè)新模型，text-embedding-004（在 Vertex AI 中為 text-embedding-preview-0409），在 MTEB 基準(zhǔn)測(cè)試中實(shí)現(xiàn)了更強(qiáng)的檢索性能，并且超越了具有可比維度的現(xiàn)有模型。

在 MTEB 基準(zhǔn)測(cè)試中，使用 256 dims 輸出的 Text-embedding-004（又名 Gecko）優(yōu)于所有較大的 768 dims 輸出模型

不過(guò)，需要注意的是，Gemini 1.5 Pro 對(duì)于沒(méi)有訪問(wèn) Vertex AI 和 AI Studio 權(quán)限的人來(lái)說(shuō)是不可用的。目前，大多數(shù)人通過(guò) Gemini 聊天機(jī)器人來(lái)接觸 Gemini 語(yǔ)言模型。Gemini Ultra 驅(qū)動(dòng)了 Gemini Advanced 聊天機(jī)器人，雖然它功能強(qiáng)大，也能理解長(zhǎng)命令，但它的速度不如 Gemini 1.5 Pro。

三大開(kāi)源工具

在 2024 年的 Google Cloud Next 大會(huì)上，該公司推出多個(gè)開(kāi)源工具，主要用于支持生成式 AI 項(xiàng)目和基礎(chǔ)設(shè)施。其一是 Max Diffusion，它是各種擴(kuò)散模型參考實(shí)現(xiàn)的集合，可在 XLA（加速線性代數(shù)）設(shè)備上運(yùn)行。

GitHub 地址：https://github.com/google/maxdiffusion

其二是 Jetstream，一個(gè)運(yùn)行生成式 AI 模型的新引擎。目前，JetStream 只支持 TPU，未來(lái)可能會(huì)兼容 GPU。谷歌聲稱(chēng)，JetStream 可為谷歌自己的 Gemma 7B 和 Meta 的 Llama 2 等模型提供高達(dá) 3 倍的性?xún)r(jià)比。

GitHub 地址：https://github.com/google/JetStream

第三個(gè)是 MaxTest，這是一個(gè)針對(duì)云中的 TPUs 和 Nvidia GPUs 的文本生成 AI 模型的集合。MaxText 現(xiàn)在包括 Gemma 7B、OpenAI 的 GPT-3、Llama 2 和來(lái)自 AI 初創(chuàng)公司 Mistral 的模型，谷歌表示所有這些模型都可以根據(jù)開(kāi)發(fā)人員的需求進(jìn)行定制和微調(diào)。

GitHub 地址：https://github.com/google/maxtext

首款自研 Arm 處理器 Axion

谷歌云宣布推出其首款自主研發(fā)的 Arm 處理器，名為 Axion。其基于 Arm 的 Neoverse 2，專(zhuān)為數(shù)據(jù)中心設(shè)計(jì)。谷歌表示其 Axion 實(shí)例的性能比其他競(jìng)爭(zhēng)對(duì)手如 AWS 和微軟的基于 Arm 的實(shí)例高出 30%，與相應(yīng)的基于 X86 的實(shí)例相比，性能提高了最多 50%，能效提高了 60%。

谷歌在周二的發(fā)布會(huì)上強(qiáng)調(diào)，由于 Axion 建立在一個(gè)開(kāi)放的基礎(chǔ)上，谷歌云的客戶(hù)將能夠?qū)⑺麄儸F(xiàn)有的 Arm 工作負(fù)載帶到谷歌云，而無(wú)需任何修改。

不過(guò)，目前谷歌還沒(méi)有發(fā)布對(duì)此進(jìn)行詳細(xì)介紹的內(nèi)容。

代碼補(bǔ)全、生成利器 ——CodeGemma

CodeGemma 以 Gemma 模型為基礎(chǔ)，為社區(qū)帶來(lái)了強(qiáng)大而輕量級(jí)的編碼功能。該模型可分為專(zhuān)門(mén)處理代碼補(bǔ)全和代碼生成任務(wù)的 7B 預(yù)訓(xùn)練變體、用于代碼聊天和指令跟隨的 7B 指令調(diào)優(yōu)變體、以及在本地計(jì)算機(jī)上運(yùn)行快速代碼補(bǔ)全的 2B 預(yù)訓(xùn)練變體。

CodeGemma 具有以下幾大優(yōu)勢(shì)：

• 智能代碼補(bǔ)全和生成：補(bǔ)全行、函數(shù)，甚至生成整個(gè)代碼塊，無(wú)論你是在本地還是云上工作；
• 更高準(zhǔn)確性：CodeGemma 主要使用來(lái)自網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼的 5000 億 token 的英語(yǔ)語(yǔ)言數(shù)據(jù)進(jìn)行訓(xùn)練，生成的代碼不僅語(yǔ)法更正確，語(yǔ)義也更有意義，有助于減少錯(cuò)誤和 debug 時(shí)間；
• 多語(yǔ)言能力：支持 Python、JavaScript、Java 和其他流行編程語(yǔ)言；
• 簡(jiǎn)化工作流程：將 CodeGemma 集成到你的開(kāi)發(fā)環(huán)境中，以減少編寫(xiě)的樣板代碼，并更快地編寫(xiě)重要、有趣且差異化的代碼。

CodeGemma 與其他主流代碼大模型的一些比較結(jié)果如下圖所示：

CodeGemma 7B 模型與 Gemma 7B 模型在 GSM8K、MATH 等數(shù)據(jù)集上的比較結(jié)果。

更多技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果請(qǐng)參閱谷歌同步放出的論文。

論文地址：https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf

開(kāi)放語(yǔ)言模型 ——RecurrentGemma

Google DeepMind 還發(fā)布了一系列開(kāi)放權(quán)重語(yǔ)言模型 ——RecurrentGemma。RecurrentGemma 基于 Griffin 架構(gòu)，通過(guò)將全局注意力替換為局部注意力和線性循環(huán)（linear recurrences）的混合，在生成長(zhǎng)序列時(shí)實(shí)現(xiàn)快速推理。

技術(shù)報(bào)告：https://storage.googleapis.com/deepmind-media/gemma/recurrentgemma-report.pdf

RecurrentGemma-2B 在下游任務(wù)上實(shí)現(xiàn)了卓越的性能，可與 Gemma-2B（transformer 架構(gòu)）媲美。

同時(shí)，RecurrentGemma-2B 在推理過(guò)程中實(shí)現(xiàn)了更高的吞吐量，尤其是在長(zhǎng)序列上。

視頻編輯工具 ——Google Vids

Google Vids 是一款 AI 視頻創(chuàng)建工具，是 Google Workspace 中添加的新功能。

谷歌表示，借助 Google Vids，用戶(hù)可以與文檔和表格等其他 Workspace 工具一起制作視頻，并且可與同事實(shí)時(shí)協(xié)作。

企業(yè)專(zhuān)用代碼助手 ——Gemini Code Assist

Gemini Code Assist 是一款面向企業(yè)的 AI 代碼完成和輔助工具， 對(duì)標(biāo) GitHub Copilot Enterprise。Code Assist 將通過(guò) VS Code 和 JetBrains 等流行編輯器以插件的形式提供。

圖源：https://techcrunch.com/2024/04/09/google-launches-code-assist-its-latest-challenger-to-githubs-copilot/

Code Assist 由 Gemini 1.5 Pro 提供支持。Gemini 1.5 Pro 擁有百萬(wàn) token 的上下文窗口，這使得谷歌的工具能夠比競(jìng)爭(zhēng)對(duì)手引入更多的上下文。谷歌表示，這意味著 Code Assist 能夠提供更準(zhǔn)確的代碼建議，并具備推理和更改大段代碼的能力。

谷歌表示：「Code Assist 使客戶(hù)能夠?qū)φ麄€(gè)代碼庫(kù)進(jìn)行大規(guī)模更改，從而實(shí)現(xiàn)以前不可能實(shí)現(xiàn)的人工智能輔助代碼轉(zhuǎn)換?！?/span>

智能體構(gòu)建器 ——Vertex AI 

AI 智能體是今年一個(gè)熱門(mén)的行業(yè)發(fā)展方向。谷歌現(xiàn)在宣布推出一款幫助企業(yè)構(gòu)建 AI 智能體的新工具 ——Vertex AI Agent Builder。

谷歌云首席執(zhí)行官 Thomas Kurian 表示：「Vertex AI Agent Builder 使人們能夠非常輕松、快速地構(gòu)建和部署可用于生產(chǎn)的、由人工智能驅(qū)動(dòng)的生成式對(duì)話智能體，并且能夠以指導(dǎo)人類(lèi)的方式指導(dǎo)智能體，以提高模型生成結(jié)果的質(zhì)量和正確性?！?/span>