太震撼了！

當(dāng)各家科技公司還在追趕大模型多模態(tài)能力，把總結(jié)文本、P 圖等功能放進(jìn)手機(jī)里的時(shí)候，遙遙領(lǐng)先的 OpenAI 直接開了大招，發(fā)布的產(chǎn)品連自家 CEO 奧特曼都驚嘆：就像電影里一樣。

5 月 14 日凌晨，OpenAI 在首次「春季新品發(fā)布會(huì)」上搬出了新一代旗艦生成模型 GPT-4o、桌面 App，并展示了一系列新能力。這一次，技術(shù)顛覆了產(chǎn)品形態(tài)，OpenAI 用行動(dòng)給全世界的科技公司上了一課。

今天的主持人是 OpenAI 的首席技術(shù)官 Mira Murati，她表示，今天主要講三件事：

• 第一，以后 OpenAI 做產(chǎn)品就是要免費(fèi)優(yōu)先，為的就是讓更多的人能使用。?
• 第二，因此 OpenAI 此次發(fā)布了桌面版本的程序和更新后的 UI，其使用起來更簡(jiǎn)單，也更自然。?
• 第三，GPT-4 之后，新版本的大模型來了，名字叫 GPT-4o。GPT-4o 的特別之處在于它以極為自然的交互方式為每個(gè)人帶來了 GPT-4 級(jí)別的智能，包括免費(fèi)用戶。

ChatGPT 的這次更新以后，大模型可以接收文本、音頻和圖像的任意組合作為輸入，并實(shí)時(shí)生成文本、音頻和圖像的任意組合輸出 —— 這才是屬于未來的交互方式。

最近，ChatGPT 不用注冊(cè)也可以使用了，今天又增加了桌面程序，OpenAI 的目標(biāo)就是讓人們可以隨時(shí)隨地的無感使用它，讓 ChatGPT 集成在你的工作流中。這 AI 現(xiàn)在就是生產(chǎn)力了。

GPT-4o 是面向未來人機(jī)交互范式的全新大模型，具有文本、語(yǔ)音、圖像三種模態(tài)的理解力，反應(yīng)極快還帶有感情，也很通人性。

在現(xiàn)場(chǎng)，OpenAI 的工程師拿出一個(gè) iPhone 演示了新模型的幾種主要能力。最重要的是實(shí)時(shí)語(yǔ)音對(duì)話，Mark Chen 說：「我第一次來直播的發(fā)布會(huì)，有點(diǎn)緊張?！笴hatGPT 說，要不你深呼吸一下。

好的，我深呼吸。

ChatGPT 立即回答說，你這不行，喘得也太大了。

如果你之前用過 Siri 之類的語(yǔ)音助手，這里就可以看出明顯的不同了。首先，你可以隨時(shí)打斷 AI 的話，不用等它說完就可以繼續(xù)下一輪對(duì)話。其次，你不用等待，模型反應(yīng)極快，比人類的回應(yīng)還快。第三，模型能夠充分理解人類的情感，自己也能表現(xiàn)出各種感情。

隨后是視覺能力。另一個(gè)工程師在紙上現(xiàn)寫的方程，讓 ChatGPT 不是直接給答案，而是讓它解釋要一步步怎么做?？雌饋?，它在教人做題方面很有潛力。

ChatGPT 說，每當(dāng)你為數(shù)學(xué)焦頭爛額的時(shí)候，我就在你身邊。

接下來嘗試 GPT-4o 的代碼能力。這有一些代碼，打開電腦里桌面版的 ChatGPT 用語(yǔ)音和它交互，讓它解釋一下代碼是用來做什么的，某個(gè)函數(shù)是在做什么，ChatGPT 都對(duì)答如流。

輸出代碼的結(jié)果，是一個(gè)溫度曲線圖，讓 ChatGPT 以一句話的方式回應(yīng)所有有關(guān)此圖的問題。

最熱的月份在幾月，Y 軸是攝氏度還是華氏度，它都能回答得上來。

OpenAI 還回應(yīng)了一些 X/Twitter 上網(wǎng)友們實(shí)時(shí)提出的問題。比如實(shí)時(shí)語(yǔ)音翻譯，手機(jī)可以拿來當(dāng)翻譯機(jī)來回翻譯西班牙語(yǔ)和英語(yǔ)。

又有人問道，ChatGPT 能識(shí)別你的表情嗎？

看起來，GPT-4o 已經(jīng)能夠做到實(shí)時(shí)的視頻理解了。

接下來，就讓我們?cè)敿?xì)了解下 OpenAI 今天放出的核彈。

全能模型 GPT-4o

首先介紹的是 GPT-4o，o 代表 Omnimodel（全能模型）。

第一次，OpenAI 在一個(gè)模型中集成了所有模態(tài)，大幅提升了大模型的實(shí)用性。

OpenAI CTO Muri Murati 表示，GPT-4o 提供了「GPT-4 水準(zhǔn)」的智能，但在 GPT-4 的基礎(chǔ)上改進(jìn)了文本、視覺和音頻方面的能力，將在未來幾周內(nèi)「迭代式」地在公司產(chǎn)品中推出。

「GPT-4o 的理由橫跨語(yǔ)音、文本和視覺，」Muri Murati 說道：「我們知道這些模型越來越復(fù)雜，但我們希望交互體驗(yàn)變得更自然、更簡(jiǎn)單，讓你完全不用關(guān)注用戶界面，而只關(guān)注與 GPT 的協(xié)作?！?/p>

GPT-4o 在英語(yǔ)文本和代碼上的性能與 GPT-4 Turbo 的性能相匹配，但在非英語(yǔ)文本上的性能顯著提高，同時(shí) API 的速度也更快，成本降低了 50%。與現(xiàn)有模型相比，GPT-4o 在視覺和音頻理解方面尤其出色。

它最快可以在 232 毫秒的時(shí)間內(nèi)響應(yīng)音頻輸入，平均響應(yīng)時(shí)長(zhǎng) 320 毫秒，與人類相似。在 GPT-4o 發(fā)布之前，體驗(yàn)過 ChatGPT 語(yǔ)音對(duì)話能力的用戶能夠感知到 ChatGPT 的平均延遲為 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。

這種語(yǔ)音響應(yīng)模式是由三個(gè)獨(dú)立模型組成的 pipeline：一個(gè)簡(jiǎn)單模型將音頻轉(zhuǎn)錄為文本，GPT-3.5 或 GPT-4 接收文本并輸出文本，第三個(gè)簡(jiǎn)單模型將該文本轉(zhuǎn)換回音頻。但 OpenAI 發(fā)現(xiàn)這種方法意味著 GPT-4 會(huì)丟失大量信息，例如模型無法直接觀察音調(diào)、多個(gè)說話者或背景噪音，也無法輸出笑聲、歌唱或表達(dá)情感。

而在 GPT-4o 上，OpenAI 跨文本、視覺和音頻端到端地訓(xùn)練了一個(gè)新模型，這意味著所有輸入和輸出都由同一神經(jīng)網(wǎng)絡(luò)處理。

「從技術(shù)角度來看，OpenAI 已經(jīng)找到了一種方法，可以將音頻直接映射到音頻作為一級(jí)模態(tài)，并將視頻實(shí)時(shí)傳輸?shù)?transformer。這些需要對(duì) token 化和架構(gòu)進(jìn)行一些新的研究，但總體來說是一個(gè)數(shù)據(jù)和系統(tǒng)優(yōu)化問題（大多數(shù)事情都是如此）?！褂ミ_(dá)科學(xué)家 Jim Fan 如此評(píng)論道。

GPT-4o 可以跨文本、音頻和視頻進(jìn)行實(shí)時(shí)推理，這是向更自然的人機(jī)交互（甚至是人 - 機(jī)器 - 機(jī)器交互）邁出的重要一步。

OpenAI 總裁 Greg Brockman 也在線「整活」，不僅讓兩個(gè) GPT-4o 實(shí)時(shí)對(duì)話，還讓它們即興創(chuàng)作了一首歌曲，雖然旋律有點(diǎn)「感人」，但歌詞涵蓋房間的裝飾風(fēng)格、人物穿著特點(diǎn)以及期間發(fā)生的小插曲等。

此外，GPT-4o 在理解和生成圖像方面的能力比任何現(xiàn)有模型都要好得多，此前很多不可能的任務(wù)都變得「易如反掌」。

比如，你可以讓它幫忙把 OpenAI 的 logo 印到杯墊上：

經(jīng)過這段時(shí)間的技術(shù)攻關(guān)，OpenAI 應(yīng)該已經(jīng)完美解決了 ChatGPT 生成字體的問題。

同時(shí)，GPT-4o 還擁有 3D 視覺內(nèi)容生成的能力，能夠從 6 個(gè)生成的圖像進(jìn)行 3D 重建：

這是一首詩(shī)，GPT-4o 可以將其排版為手寫樣式：

更復(fù)雜的排版樣式也能搞定：

與 GPT-4o 合作，你只需要輸入幾段文字，就能得到一組連續(xù)的漫畫分鏡：

而下面這些玩法，應(yīng)該會(huì)讓很多設(shè)計(jì)師有點(diǎn)驚訝：

這是一張由兩張生活照演變而來的風(fēng)格化海報(bào)：

還有一些小眾的功能，比如「文本轉(zhuǎn)藝術(shù)字」：

GPT-4o 性能評(píng)估結(jié)果

OpenAI 技術(shù)團(tuán)隊(duì)成員在 X 上表示，之前在 LMSYS Chatbot Arena 上引起廣泛熱議的神秘模型「im-also-a-good-gpt2-chatbot」就是 GPT-4o 的一個(gè)版本。

在比較困難的 prompt 集上 —— 特別是編碼方面：GPT-4o 相比于 OpenAI 之前的最佳模型，性能提升幅度尤其顯著。

具體來說，在多項(xiàng)基準(zhǔn)測(cè)試中，GPT-4o 在文本、推理和編碼智能方面實(shí)現(xiàn)了 GPT-4 Turbo 級(jí)別的性能，同時(shí)在多語(yǔ)言、音頻和視覺功能上實(shí)現(xiàn)了新高。

推理提升：GPT-4o 在 5-shot  MMLU（常識(shí)問題）上創(chuàng)下了 87.2% 的新高分。（注：Llama3 400b 還在訓(xùn)練中）

音頻 ASR 性能：GPT-4o 相比 Whisper-v3 顯著提高了所有語(yǔ)言的語(yǔ)音識(shí)別性能，特別是對(duì)于資源匱乏的語(yǔ)言。

GPT-4o 在語(yǔ)音翻譯方面取得了新的 SOTA 水平，并且在 MLS 基準(zhǔn)測(cè)試中優(yōu)于 Whisper-v3。

M3Exam 基準(zhǔn)測(cè)試既是多語(yǔ)言評(píng)估基準(zhǔn)也是視覺評(píng)估基準(zhǔn)，由來自多個(gè)國(guó)家 / 地區(qū)的標(biāo)準(zhǔn)化測(cè)試多項(xiàng)選擇題組成，并包括圖形、圖表。在所有語(yǔ)言基準(zhǔn)測(cè)試中，GPT-4o 都比 GPT-4 更強(qiáng)。

未來，模型能力的提升將實(shí)現(xiàn)更自然、實(shí)時(shí)的語(yǔ)音對(duì)話，并能夠通過實(shí)時(shí)視頻與 ChatGPT 進(jìn)行對(duì)話。例如，用戶可以向 ChatGPT 展示一場(chǎng)現(xiàn)場(chǎng)體育比賽，并要求它解釋規(guī)則。

ChatGPT 用戶將免費(fèi)獲得更多高級(jí)功能

每周都有超過一億人使用 ChatGPT，OpenAI 表示 GPT-4o 的文本和圖像功能今天開始免費(fèi)在 ChatGPT 中推出，并向 Plus 用戶提供高達(dá) 5 倍的消息上限。

現(xiàn)在打開 ChatGPT，我們發(fā)現(xiàn) GPT-4o 已經(jīng)可以使用了。

使用 GPT-4o 時(shí)，ChatGPT 免費(fèi)用戶現(xiàn)在可以訪問以下功能：體驗(yàn) GPT-4 級(jí)別智能；用戶可以從模型和網(wǎng)絡(luò)獲取響應(yīng)。

此外，免費(fèi)用戶還可以有以下選擇 ——

分析數(shù)據(jù)并創(chuàng)建圖表：

和拍攝的照片對(duì)話：

上傳文件以獲取總結(jié)、寫作或分析方面的幫助：

發(fā)現(xiàn)并使用 GPTs 和 GPT 應(yīng)用商店：

以及使用記憶功能打造更有幫助的體驗(yàn)。

不過，根據(jù)使用情況和需求，免費(fèi)用戶可以使用 GPT-4o 發(fā)送的消息數(shù)量會(huì)受到限制。當(dāng)達(dá)到限制時(shí)，ChatGPT 將自動(dòng)切換到 GPT-3.5，以便用戶可以繼續(xù)對(duì)話。

此外，OpenAI 還將在未來幾周內(nèi)在 ChatGPT Plus 中推出新版本的語(yǔ)音模式 GPT-4o alpha，并通過 API 向一小部分值得信賴的合作伙伴推出對(duì) GPT-4o 更多新的音頻和視頻功能。

當(dāng)然了，通過多次的模型測(cè)試和迭代，GPT-4o 在所有模態(tài)下都存在一些局限性。在這些不完美的地方，OpenAI 表示正努力改進(jìn) GPT-4o。

可以想到的是， GPT-4o 音頻模式的開放肯定會(huì)帶來各種新的風(fēng)險(xiǎn)。在安全性問題上，GPT-4o 通過過濾訓(xùn)練數(shù)據(jù)和通過訓(xùn)練后細(xì)化模型行為等技術(shù)，在跨模態(tài)設(shè)計(jì)中內(nèi)置了安全性。OpenAI 還創(chuàng)建了新的安全系統(tǒng)，為語(yǔ)音輸出提供防護(hù)。

新的桌面 app 簡(jiǎn)化用戶工作流程

對(duì)于免費(fèi)和付費(fèi)用戶，OpenAI 還推出了適用于 macOS 的新 ChatGPT 桌面應(yīng)用程序。通過簡(jiǎn)單的鍵盤快捷鍵（Option + Space），用戶可以立即向 ChatGPT 提問，此外，用戶還可以直接在應(yīng)用程序中截取屏幕截圖并進(jìn)行討論。

現(xiàn)在，用戶還可以直接從計(jì)算機(jī)與 ChatGPT 進(jìn)行語(yǔ)音對(duì)話，GPT-4o 的音頻和視頻功能將在未來推出，通過點(diǎn)擊桌面應(yīng)用程序右下角的耳機(jī)圖標(biāo)來開始語(yǔ)音對(duì)話。

從今天開始，OpenAI 將向 Plus 用戶推出 macOS 應(yīng)用程序，并將在未來幾周內(nèi)更廣泛地提供該應(yīng)用程序。此外今年晚些時(shí)候 OpenAI 會(huì)推出 Windows 版本。

奧特曼：你們開源，我們免費(fèi)

在發(fā)布結(jié)束后，OpenAI CEO 山姆?奧特曼久違地發(fā)表了一篇博客文章，介紹了推動(dòng) GPT-4o 工作時(shí)的心路歷程：

在我們今天的發(fā)布中，我想強(qiáng)調(diào)兩件事。

首先，我們使命的一個(gè)關(guān)鍵部分是將強(qiáng)大的人工智能工具免費(fèi)（或以優(yōu)惠的價(jià)格）提供給人們。我非常自豪地宣布，我們?cè)?ChatGPT 中免費(fèi)提供世界上最好的模型，沒有廣告或類似的東西。

當(dāng)我們創(chuàng)立 OpenAI 時(shí)，我們的最初構(gòu)想是：我們要?jiǎng)?chuàng)造人工智能并利用它為世界創(chuàng)造各種利益?，F(xiàn)在情況有所變化，看起來我們將創(chuàng)造人工智能，然后其他人將使用它來創(chuàng)造各種令人驚奇的事物，我們所有人都會(huì)從中受益。

當(dāng)然，我們是一家企業(yè)，會(huì)發(fā)明很多收費(fèi)的東西，這將幫助我們向數(shù)十億人提供免費(fèi)、出色的人工智能服務(wù)（希望如此）。

其次，新的語(yǔ)音和視頻模式是我用過的最好的計(jì)算交互界面。感覺就像電影里的人工智能一樣，我仍然有點(diǎn)驚訝于它竟然是真的。事實(shí)證明，達(dá)到人類水平的響應(yīng)時(shí)間和表達(dá)能力是一個(gè)巨大的飛躍。

最初的 ChatGPT 暗示了語(yǔ)言界面的可能性，而這個(gè)新事物（GPT-4o 版本）給人的感覺有本質(zhì)上的不同 —— 它快速、智能、有趣、自然且能給人帶來幫助。

對(duì)我來說，與電腦交互從來都不是很自然的事情，事實(shí)如此。而當(dāng)我們添加（可選）個(gè)性化、訪問個(gè)人信息、讓 AI 代替人采取行動(dòng)等等能力時(shí)，我確實(shí)可以看到一個(gè)令人興奮的未來，我們能夠使用計(jì)算機(jī)做比以往更多的事情。

最后，非常感謝團(tuán)隊(duì)為實(shí)現(xiàn)這一目標(biāo)付出了巨大的努力！

值得一提的是，上個(gè)星期奧特曼在一次采訪中表示，雖然全民免費(fèi)收入（universal basic income）難以實(shí)現(xiàn)，但我們可以實(shí)現(xiàn)「全民免費(fèi)計(jì)算 universal basic compute」。在未來，所有人都可以免費(fèi)獲得 GPT 的算力，可以使用、轉(zhuǎn)售或捐贈(zèng)。

「這個(gè)想法是，隨著 AI 變得更加先進(jìn)，并嵌入到我們生活的方方面面，擁有像 GPT-7 這樣的大語(yǔ)言模型單元可能比金錢更有價(jià)值，你擁有了部分生產(chǎn)力，」奧特曼解釋道。

GPT-4o 的發(fā)布，或許就是 OpenAI 朝著這方面努力的一個(gè)開始。

是的，這還只是個(gè)開始。

最后提一句，今天 OpenAI 博客中展示的「Guessing May 13th’s announcement.」的視頻，幾乎完全撞車谷歌明天 I/O 大會(huì)的一個(gè)預(yù)熱視頻，這無疑是對(duì)谷歌的貼臉開大。不知道看完今天 OpenAI 的發(fā)布，谷歌有沒感到巨大壓力？

本文轉(zhuǎn)自機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/PfWnlhXh3n3VDfZaMI-ifQ??