谷歌致力于通過(guò)高效、可靠的方法

構(gòu)建 AI 驅(qū)動(dòng)的產(chǎn)品

如今已經(jīng)走過(guò)了七年 "AI 為先" 的旅程

一起來(lái)看 2023 Google 開(kāi)發(fā)者大會(huì)上

AI 開(kāi)發(fā)如何被廣泛應(yīng)用，簡(jiǎn)化開(kāi)發(fā)

并將機(jī)器學(xué)習(xí)的強(qiáng)大能力

引入到應(yīng)用和工作流中

提高開(kāi)發(fā)者工作效率

精彩大會(huì)現(xiàn)場(chǎng)一覽

過(guò)去 3 年，Web 機(jī)器學(xué)習(xí)技術(shù)的使用和開(kāi)發(fā)都呈指數(shù)級(jí)增長(zhǎng)，許多熱門(mén) Google 產(chǎn)品都已采用 Web 技術(shù)。谷歌的許多團(tuán)隊(duì)都在為 Web 機(jī)器學(xué)習(xí)的未來(lái)積極貢獻(xiàn)力量。例如，Chrome 團(tuán)隊(duì)正致力于制定新的 Web 標(biāo)準(zhǔn)，使 TensorFlow.js 和 MediaPipe 等團(tuán)隊(duì)能夠在這些堆棧的基礎(chǔ)上構(gòu)建各種產(chǎn)品和服務(wù)，并實(shí)現(xiàn)更出色的性能。

MediaPipe 是一個(gè)開(kāi)源的跨平臺(tái)框架，用于在移動(dòng)設(shè)備、桌面設(shè)備和 Web 上構(gòu)建機(jī)器學(xué)習(xí)解決方案。MediaPipe 提供可自定義的設(shè)備端解決方案，只需幾行代碼，即可將解決方案集成到 Web 應(yīng)用中。此外，MediaPipe 也發(fā)布了新模型，例如人臉融合變形分類(lèi)。開(kāi)發(fā)者可以使用此模型來(lái)創(chuàng)建虛擬頭像，使其實(shí)時(shí)匹配用戶(hù)的面部表情。

MediaPipe Studio 是一款基于 Web 的應(yīng)用程序，用于評(píng)估和自定義應(yīng)用程序的設(shè)備上 ML 模型和管道。MediaPipe Studio 可讓開(kāi)發(fā)者使用自己的數(shù)據(jù)和自定義的 ML 模型在瀏覽器中快速測(cè)試 MediaPipe 解決方案，以及支持試驗(yàn)結(jié)果總數(shù)、報(bào)告結(jié)果的最小置信度閾值等模型設(shè)置。

MediaPipe Studio 可以提供手勢(shì)識(shí)別等完全在瀏覽器中運(yùn)行的解決方案

TensorFlow.js 是谷歌新發(fā)布的模型可視化調(diào)試程序，幫助開(kāi)發(fā)者比較模型在不同 TensorFlow.js 后端上執(zhí)行時(shí)的輸出，找出運(yùn)算輸出從何時(shí)開(kāi)始出現(xiàn)差異，以及差異有多大，以便發(fā)現(xiàn)在不同后端環(huán)境和設(shè)備上使用模型時(shí)可能出現(xiàn)的 bug。

TensorFlow.js 模型可視化調(diào)試程序

谷歌對(duì) WebGL 后端進(jìn)行了重大優(yōu)化，Web 機(jī)器學(xué)習(xí)模型的運(yùn)行速度將比以往更快。單項(xiàng)運(yùn)算級(jí)別中常見(jiàn)運(yùn)算的性能最高能夠免費(fèi)提升到原來(lái)的 5.8 倍，熱門(mén)模型性能優(yōu)化最高可至原來(lái)的 1.59 倍。

谷歌在 Chrome 穩(wěn)定版中添加了對(duì) WebGPU 的支持，為 Web 注入了十億個(gè) GPU 的強(qiáng)悍性能，使編解碼器、游戲和機(jī)器學(xué)習(xí)等計(jì)算密集型應(yīng)用能夠在瀏覽器中運(yùn)行，并且能夠?qū)崿F(xiàn)前所未有的細(xì)節(jié)豐富度和幀率。

語(yǔ)言模型旨在預(yù)測(cè)和生成合理的語(yǔ)言。發(fā)展至今，現(xiàn)代大語(yǔ)言模型規(guī)模龐大，可以預(yù)測(cè)句子、段落甚至整個(gè)文檔的概率。典型自然語(yǔ)言可以處理實(shí)體提取、分類(lèi)、生成摘要、情感分析、翻譯等任務(wù)。谷歌新推出的大語(yǔ)言模型 (LLM) 工具 PaLM API 和 MakerSuite 可以幫助開(kāi)發(fā)者快速開(kāi)發(fā)原型。

大語(yǔ)言模型 (LLM)

MakerSuite 可以幫助開(kāi)發(fā)者直接在瀏覽器中快速創(chuàng)建提示并為其進(jìn)行原型設(shè)計(jì)，無(wú)需機(jī)器學(xué)習(xí)專(zhuān)業(yè)知識(shí)或代碼。借助 MakerSuite，開(kāi)發(fā)者將能夠迭代提示、使用合成數(shù)據(jù)增強(qiáng)數(shù)據(jù)集，并輕松調(diào)整自定義模型。

MakerSuite

PaLM API 使開(kāi)發(fā)者可以輕松、安全地試驗(yàn)谷歌的大型語(yǔ)言模型，即通過(guò) PaLM API 直接訪(fǎng)問(wèn)谷歌的先進(jìn)大型語(yǔ)言模型，構(gòu)建生成式 AI 應(yīng)用。它將為開(kāi)發(fā)人員提供針對(duì)多回合用例優(yōu)化的模型（例如內(nèi)容生成和聊天）以及針對(duì)摘要、分類(lèi)等用例優(yōu)化的通用模型。PaLM API 可以提供文本服務(wù)、聊天服務(wù)、嵌入服務(wù)。

開(kāi)發(fā)者現(xiàn)在可以使用 Firebase 擴(kuò)展訪(fǎng)問(wèn) PaLM API，即在帶有 PaLM API 擴(kuò)展程序的全新聊天機(jī)器人中添加用于連續(xù)對(duì)話(huà)、文本摘要等功能的聊天界面。

通過(guò)實(shí)例，一起來(lái)了解如何通過(guò) AI 和機(jī)器學(xué)習(xí)構(gòu)建應(yīng)用。

用 Flutter & AI 構(gòu)建 I/O Flip

I/O Flip 是一個(gè)使用 Flutter 和 AI 構(gòu)建的虛擬紙牌游戲，它展示了多項(xiàng) Google 技術(shù)的融合。具體來(lái)說(shuō)，開(kāi)發(fā)者用 Muse 上的 DreamBooth 生成角色圖像，用 PaLM API 生成描述，用 Flutter 創(chuàng)建游戲 UI 和動(dòng)畫(huà)，用 Dart 編寫(xiě)后端，并使用一套 Firebase 和 Google Cloud 工具進(jìn)行托管和共享。通過(guò) 2023 Google 開(kāi)發(fā)者大會(huì)現(xiàn)場(chǎng)的互動(dòng)展示區(qū)，參會(huì)者實(shí)際體驗(yàn)了這款紙牌游戲，在流暢的游戲體驗(yàn)中深切感受到使用 Flutter 和 AI 構(gòu)建游戲的妙不可言。

參會(huì)者現(xiàn)場(chǎng)體驗(yàn) I/O Flip 紙牌游戲

使用 OCR 獲取 PDF

互聯(lián)網(wǎng)上有接近 12% 的 PDF文件因?yàn)椴痪_的光學(xué)字符識(shí)別 (OCR)，無(wú)法被有視力障礙的用戶(hù)通過(guò)輔助技術(shù)訪(fǎng)問(wèn)到。通過(guò)在設(shè)備上運(yùn)行 OCR，Chromebook 使用戶(hù)可以使用這些 PDF 文件，高效轉(zhuǎn)換，沒(méi)有延遲。

為實(shí)現(xiàn)讓 AI 助力每一個(gè)人

谷歌將堅(jiān)持負(fù)責(zé)任地進(jìn)行探索

持續(xù)關(guān)注 2023 Google 開(kāi)發(fā)者大會(huì)

更多精彩內(nèi)容更新

專(zhuān)題演講視頻持續(xù)更新中

掃碼直達(dá)官網(wǎng)

探索大會(huì)更多精彩

關(guān)注“谷歌開(kāi)發(fā)者”微信公眾號(hào)，獲取更多大會(huì)信息