在北京時(shí)間5月14日凌晨，OpenAI在其首次「春季新品發(fā)布會(huì)」上推出了新一代旗艦生成模型GPT-4o和桌面應(yīng)用程序，在人工智能的發(fā)展史上，今天將被銘記為一個(gè)里程碑。

這一天，OpenAI宣布了GPT-4o——一款全新的、功能強(qiáng)大的多模態(tài)人工智能模型。這不僅是技術(shù)的一次飛躍，更是對未來人機(jī)交互方式的一次革命性預(yù)示。GPT-4o的發(fā)布，不僅在AI領(lǐng)域引起了轟動(dòng)，更在全球范圍內(nèi)激起了廣泛的討論和熱烈的反響。

GPT-4o的問世是OpenAI對其使命——“確保人工智能對所有人都有益”——的深化和延續(xù)。在經(jīng)歷了GPT-3.5和GPT-4的成功之后，OpenAI沒有停下腳步，而是繼續(xù)推進(jìn)技術(shù)的邊界，致力于打造一個(gè)更加智能、更加快速、更加準(zhǔn)確的AI模型。GPT-4o的發(fā)布，標(biāo)志著OpenAI在多模態(tài)AI領(lǐng)域的一個(gè)重大突破，它不僅能夠處理文本，還能理解音頻和圖像，為用戶提供一個(gè)更加全面的交互體驗(yàn)。

OpenAI 的首席技術(shù)官 Mira Murati

今天的主持人是 OpenAI 的首席技術(shù)官 Mira Murati，她激情洋溢地分享了三個(gè)振奮人心的消息。首先，OpenAI將堅(jiān)持一個(gè)信念：免費(fèi)優(yōu)先。這不僅是一項(xiàng)策略，而是一種承諾，確保每個(gè)人都能觸及未來的智能技術(shù)。第二個(gè)好消息，OpenAI帶來了全新的桌面應(yīng)用和一款界面更新，它們的設(shè)計(jì)如此直觀，使用起來就像呼吸一樣自然。最后，但同樣重要的，是GPT-4的繼任者——GPT-4o。這個(gè)新模型，它不僅僅是一個(gè)升級版，它是一個(gè)革命，它將GPT-4級別的智能帶給了每一個(gè)人，無論是付費(fèi)用戶還是享受免費(fèi)服務(wù)的用戶，都能體驗(yàn)到前所未有的自然交互方式。這是OpenAI向世界宣告：智能技術(shù)，為所有人而生。

在現(xiàn)場氣氛熱烈的發(fā)布會(huì)上，OpenAI的工程師拿起一部iPhone，興奮地展示了新模型GPT-4o的幾項(xiàng)超酷功能。觀眾們最期待的，無疑是實(shí)時(shí)語音對話的演示。Mark Chen帶著一絲緊張和期待說道：“這是我第一次參加直播發(fā)布會(huì)，心跳得好快。”ChatGPT溫和地回應(yīng)：“試著深呼吸一下吧?！盡ark按照指示深呼吸，而ChatGPT立刻幽默地回答：“放輕松，你這不行，喘得也太大了！”現(xiàn)場響起了一片笑聲和掌聲，GPT-4o的智慧和幽默感，為這場技術(shù)盛宴增添了更多人性化的溫暖色彩。

GPT-4o的功能特征堪稱前所未有。作為一個(gè)多模態(tài)模型，它能夠接收和處理文本、音頻和圖像的輸入，生成相應(yīng)的輸出。這意味著用戶可以與GPT-4o進(jìn)行更自然的對話，不僅僅是通過文字，還可以通過語音甚至是圖片。GPT-4o在理解和生成非英語文本方面的性能得到了顯著提升，同時(shí)在視覺和音頻理解方面也有了突破性的進(jìn)展。此外，GPT-4o的響應(yīng)速度更快，平均響應(yīng)時(shí)間與人類在對話中的響應(yīng)時(shí)間相似，這使得與AI的交互更加流暢和自然。

GPT-4o的技術(shù)革新

在人工智能領(lǐng)域，技術(shù)的每一次進(jìn)步都是對未來的一次大膽預(yù)測。OpenAI的GPT-4o不僅僅是一個(gè)新模型的發(fā)布，它代表了AI技術(shù)的一次飛躍，為我們揭示了一個(gè)全新的、多模態(tài)的交互世界。

GPT-4o的技術(shù)規(guī)格和性能特點(diǎn)

GPT-4o是一個(gè)集成了文本、音頻和圖像處理能力的多模態(tài)AI模型。它的核心優(yōu)勢在于其快速響應(yīng)和高度準(zhǔn)確的理解能力。GPT-4o能夠在毫秒級別響應(yīng)用戶的查詢，這一速度與人類在日常對話中的反應(yīng)速度相當(dāng)。此外，GPT-4o在處理非英語文本時(shí)的性能得到了顯著提升，這使得它能夠更好地服務(wù)于全球用戶。

在 GPT-4o 之前，我們使用語音模式與 ChatGPT 對話，平均延遲為 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。為了實(shí)現(xiàn)這一目標(biāo)，語音模式是由三個(gè)獨(dú)立模型組成的管道：一個(gè)簡單模型將音頻轉(zhuǎn)錄為文本，GPT-3.5 或 GPT-4 接收文本并輸出文本，第三個(gè)簡單模型將該文本轉(zhuǎn)換回音頻。這個(gè)過程意味著主要智能來源GPT-4丟失了大量信息——它無法直接觀察音調(diào)、多個(gè)說話者或背景噪音，也無法輸出笑聲、歌唱或表達(dá)情感。

借助 GPT-4o，我們跨文本、視覺和音頻端到端地訓(xùn)練了一個(gè)新模型，這意味著所有輸入和輸出都由同一神經(jīng)網(wǎng)絡(luò)處理。由于 GPT-4o 是我們第一個(gè)結(jié)合所有這些模式的模型，因此我們?nèi)匀恢皇菧\嘗輒止地探索該模型的功能及其局限性。

與前代模型GPT-3.5和GPT-4的比較

與GPT-3.5和GPT-4相比，GPT-4o在多個(gè)方面都有所突破。首先GPT-4o的響應(yīng)時(shí)間大幅縮短，用戶幾乎可以實(shí)時(shí)獲得反饋。其次，GPT-4o在理解復(fù)雜查詢和生成自然語言方面的能力有了顯著提高。最重要的是，GPT-4o的多模態(tài)能力使其能夠處理和生成圖像和音頻內(nèi)容，這是前代模型無法實(shí)現(xiàn)的。

多模態(tài)能力：文本、音頻和圖像的處理

GPT-4o的多模態(tài)能力是其最引人注目的特點(diǎn)之一。它不僅能夠理解和生成文本，還能處理音頻和圖像輸入。這意味著用戶可以用圖片詢問問題，或者用語音與GPT-4o交流。例如，用戶可以上傳一張菜單的照片，GPT-4o能夠識(shí)別并翻譯上面的文字，甚至提供相關(guān)的背景信息和推薦。這種能力極大地?cái)U(kuò)展了AI的應(yīng)用場景，使得GPT-4o能夠在教育、醫(yī)療、娛樂等多個(gè)領(lǐng)域發(fā)揮重要作用。

根據(jù)傳統(tǒng)基準(zhǔn)測試，GPT-4o 在文本、推理和編碼智能方面實(shí)現(xiàn)了 GPT-4 Turbo 級別的性能，同時(shí)在多語言、音頻和視覺功能上設(shè)置了新的高水位線。

改進(jìn)推理 - GPT-4o 在 0-shot COT MMLU（常識(shí)問題）上創(chuàng)下了 88.7% 的新高分。所有這些評估都是通過我們新的簡單評估收集的（在新窗口中打開）圖書館。此外，在傳統(tǒng)的5-shot no-CoT MMLU上，GPT-4o創(chuàng)下了87.2%的新高分。（注：Llama3 400b（在新窗口中打開）還在訓(xùn)練中）

音頻 ASR 性能 - GPT-4o 比 Whisper-v3 顯著提高了所有語言的語音識(shí)別性能，特別是對于資源匱乏的語言。

音頻翻譯性能 - GPT-4o 在語音翻譯方面樹立了新的最先進(jìn)水平，并且在 MLS 基準(zhǔn)測試中優(yōu)于 Whisper-v3。

M3Exam - M3Exam 基準(zhǔn)測試既是多語言評估也是視覺評估，由來自其他國家標(biāo)準(zhǔn)化測試的多項(xiàng)選擇題組成，有時(shí)還包括圖形和圖表。在所有語言的基準(zhǔn)測試中，GPT-4o 都比 GPT-4 更強(qiáng)。（我們省略了斯瓦希里語和爪哇語的視力結(jié)果，因?yàn)檫@些語言的視力問題只有 5 個(gè)或更少。

視覺理解評估 - GPT-4o 在視覺感知基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能。所有視覺評估都是 0-shot，其中 MMMU、MathVista 和 ChartQA 作為 0-shot CoT。

GPT-4o的技術(shù)革新不僅體現(xiàn)在其快速和準(zhǔn)確的響應(yīng)上，更體現(xiàn)在其對多種模態(tài)輸入的處理能力上。這些革新使得GPT-4o成為了一個(gè)真正意義上的全能AI模型，為用戶提供了前所未有的交互體驗(yàn)。

OpenAI的技術(shù)驕子們在X平臺(tái)上揭開了一個(gè)激動(dòng)人心的秘密：那個(gè)在LMSYS Chatbot Arena上掀起軒然大波的神秘模型，被人們熱議的「im-also-a-good-gpt2-chatbot」，其實(shí)就是GPT-4o的早期面貌！這不僅是一次技術(shù)上的大膽嘗試，更是OpenAI不斷創(chuàng)新和探索的生動(dòng)證明?，F(xiàn)在，這個(gè)曾經(jīng)的謎團(tuán)終于揭曉，它正是GPT-4o——一個(gè)更智能、更自然、更親近人心的AI模型的起點(diǎn)。

GPT-4o的應(yīng)用范圍

在人工智能的浪潮中，GPT-4o的出現(xiàn)如同一顆璀璨的新星，其應(yīng)用范圍廣泛，涵蓋了實(shí)時(shí)語音和視頻交互、教育、醫(yī)療、娛樂等多個(gè)行業(yè)，以及為企業(yè)和開發(fā)者提供的豐富場景。

實(shí)時(shí)語音和視頻交互

GPT-4o的實(shí)時(shí)語音和視頻交互能力，是其最引人注目的特性之一。用戶可以通過語音與GPT-4o進(jìn)行交流，無需等待長時(shí)間的處理，幾乎可以達(dá)到與真人對話的自然流暢度。這種交互方式不僅提高了效率，也使得用戶體驗(yàn)更加舒適和人性化。在視頻交互方面，GPT-4o能夠理解視頻內(nèi)容并做出反應(yīng)，這為遠(yuǎn)程教育、在線會(huì)議等應(yīng)用提供了強(qiáng)大的支持。

教育行業(yè)的應(yīng)用

在教育領(lǐng)域，GPT-4o能夠根據(jù)學(xué)生的學(xué)習(xí)進(jìn)度和需求，提供個(gè)性化的教學(xué)內(nèi)容和輔導(dǎo)。例如，它可以通過分析學(xué)生上傳的作業(yè)圖片，給出針對性的指導(dǎo)和建議。此外，GPT-4o還能夠輔助語言學(xué)習(xí)，通過實(shí)時(shí)對話練習(xí)，幫助學(xué)生提高語言能力。

醫(yī)療行業(yè)的應(yīng)用

在醫(yī)療行業(yè)，GPT-4o可以協(xié)助醫(yī)生進(jìn)行病例分析和診斷。通過分析醫(yī)學(xué)圖像，GPT-4o能夠提供初步的診斷意見，幫助醫(yī)生更快地識(shí)別疾病。同時(shí)，它也能夠通過語音交互，為患者提供健康咨詢和醫(yī)療信息的解讀。

娛樂行業(yè)的應(yīng)用

在娛樂行業(yè)，GPT-4o可以創(chuàng)造全新的互動(dòng)體驗(yàn)。它能夠根據(jù)用戶的喜好，推薦電影、音樂或游戲，并通過分析用戶上傳的影評或游戲截圖，提供深度的內(nèi)容分析和討論。此外，GPT-4o還能夠參與創(chuàng)作，協(xié)助編寫劇本、歌詞或游戲劇情。

企業(yè)和開發(fā)者的使用場景

對于企業(yè)和開發(fā)者而言，GPT-4o提供了強(qiáng)大的工具和服務(wù)。企業(yè)可以利用GPT-4o優(yōu)化客戶服務(wù)，通過實(shí)時(shí)語音交互，提供更加人性化的客戶支持。開發(fā)者則可以將GPT-4o集成到自己的應(yīng)用中，無論是開發(fā)智能助手、數(shù)據(jù)分析工具，還是構(gòu)建復(fù)雜的交互式應(yīng)用，GPT-4o都能提供強(qiáng)有力的支持。

GPT-4o的應(yīng)用范圍幾乎覆蓋了現(xiàn)代社會(huì)的每一個(gè)角落。它不僅僅是一個(gè)AI模型，更是一個(gè)連接人類與數(shù)字世界的橋梁，為各行各業(yè)帶來了革命性的變化和無限的可能。

GPT-4o的商業(yè)模式

在人工智能領(lǐng)域，OpenAI以其GPT-4o模型引領(lǐng)了一場革命。這不僅僅是技術(shù)上的突破，更是商業(yè)模式創(chuàng)新的典范。GPT-4o的商業(yè)模式展現(xiàn)了OpenAI對于AI技術(shù)普及和商業(yè)化的深刻理解。

OpenAI的免費(fèi)和付費(fèi)服務(wù)

OpenAI采取了獨(dú)特的商業(yè)策略，將GPT-4o的部分功能免費(fèi)提供給用戶，同時(shí)也推出了更高級的付費(fèi)服務(wù)。這種模式既滿足了廣大用戶的基本需求，又保證了公司能夠通過高級服務(wù)獲得收入，以支持持續(xù)的研發(fā)和運(yùn)營。對于普通用戶，免費(fèi)服務(wù)已經(jīng)能夠滿足日常的查詢、學(xué)習(xí)和娛樂等需求。而對于那些需要更高級功能、更強(qiáng)大計(jì)算能力或更高定制化服務(wù)的企業(yè)和專業(yè)用戶，付費(fèi)服務(wù)提供了更多的選擇和可能性。

通用基礎(chǔ)計(jì)算（Universal Basic Compute）的概念

Sam Altman提出的“通用基礎(chǔ)計(jì)算”（Universal Basic Compute）概念，是對傳統(tǒng)通用基礎(chǔ)收入（UBI）的一種創(chuàng)新性擴(kuò)展。在這個(gè)模型中，每個(gè)人都可以獲得一定量的計(jì)算資源，用于個(gè)人發(fā)展、創(chuàng)業(yè)或貢獻(xiàn)社會(huì)。這種計(jì)算資源可以是GPT-4o的計(jì)算能力，也可以是其他形式的AI服務(wù)。用戶可以自由選擇如何使用這些資源，甚至可以將它們出售或捐贈(zèng)。這一概念不僅體現(xiàn)了OpenAI對于AI技術(shù)普及的承諾，也為AI技術(shù)的社會(huì)化應(yīng)用提供了新的思路。

對傳統(tǒng)商業(yè)模式的挑戰(zhàn)

GPT-4o的商業(yè)模式對傳統(tǒng)的軟件和服務(wù)行業(yè)提出了挑戰(zhàn)。在這個(gè)模式下，用戶不再需要為每一項(xiàng)服務(wù)支付費(fèi)用，而是可以根據(jù)自己的需求選擇免費(fèi)或付費(fèi)服務(wù)。這種靈活性和開放性，使得GPT-4o能夠迅速獲得大量用戶，并在短時(shí)間內(nèi)積累了大量的數(shù)據(jù)和經(jīng)驗(yàn)，進(jìn)一步提升了模型的性能和服務(wù)質(zhì)量。同時(shí)，這也促使其他公司重新思考自己的商業(yè)模式，以適應(yīng)這種新的市場趨勢。

GPT-4o的商業(yè)模式是OpenAI對于AI技術(shù)商業(yè)化的一次成功嘗試。它不僅為用戶提供了價(jià)值，也為公司帶來了收益，同時(shí)推動(dòng)了整個(gè)行業(yè)的發(fā)展和進(jìn)步。

用戶體驗(yàn)和市場反饋

在人工智能領(lǐng)域，OpenAI的GPT-4o無疑是一顆冉冉升起的新星。它不僅在技術(shù)上實(shí)現(xiàn)了突破，更在用戶體驗(yàn)和市場反饋方面贏得了廣泛的贊譽(yù)。

用戶對GPT-4o的評價(jià)

對GPT-4o的發(fā)布，用戶的評價(jià)普遍積極。許多人對其多模態(tài)交互能力表示驚嘆，尤其是在實(shí)時(shí)語音和視頻交互方面的表現(xiàn)。用戶們贊賞GPT-4o能夠理解和生成多種語言的能力，這使得它能夠跨越語言障礙，服務(wù)于全球用戶。此外，GPT-4o在教育、醫(yī)療、娛樂等行業(yè)的應(yīng)用案例也獲得了用戶的高度評價(jià)，許多人認(rèn)為GPT-4o極大地提高了工作效率和生活質(zhì)量。

市場分析和專家評論

市場分析師和行業(yè)專家對GPT-4o的市場表現(xiàn)持樂觀態(tài)度。他們認(rèn)為，GPT-4o的推出不僅改變了人們與AI交互的方式，也為OpenAI在競爭激烈的AI市場中贏得了有利地位。專家們特別指出，GPT-4o的免費(fèi)和付費(fèi)服務(wù)模式，為AI技術(shù)的普及和商業(yè)化提供了新的思路。同時(shí)，Sam Altman提出的“通用基礎(chǔ)計(jì)算”概念也受到了業(yè)界的廣泛關(guān)注和討論。

與其他AI產(chǎn)品的競爭分析

在與其他AI產(chǎn)品的競爭中，GPT-4o憑借其先進(jìn)的技術(shù)和創(chuàng)新的商業(yè)模式，展現(xiàn)出了強(qiáng)大的競爭力。與傳統(tǒng)的語音助手相比，GPT-4o在理解復(fù)雜查詢、處理多種模態(tài)輸入以及提供個(gè)性化服務(wù)方面具有明顯優(yōu)勢。此外，GPT-4o的快速響應(yīng)和高度準(zhǔn)確的理解能力，使其在市場上脫穎而出，成為了許多用戶和企業(yè)的首選AI平臺(tái)。

GPT-4o在用戶體驗(yàn)和市場反饋方面取得了顯著的成績。它不僅提升了用戶的交互體驗(yàn)，也為OpenAI在全球AI市場中的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。

GPT-4o的影響力

在人工智能技術(shù)迅猛發(fā)展的今天，OpenAI的GPT-4o不僅僅是技術(shù)進(jìn)步的產(chǎn)物，更是社會(huì)變革的催化劑。它的出現(xiàn)預(yù)示著工作和生活方式的重大轉(zhuǎn)變，同時(shí)也引發(fā)了關(guān)于AI倫理和責(zé)任的深入討論，對全球語言助手市場產(chǎn)生了深遠(yuǎn)的影響。

對工作和生活方式的潛在改變

GPT-4o的多模態(tài)交互能力，使得人們在工作和日常生活中的溝通方式發(fā)生了根本性的變化。在工作場所，GPT-4o能夠協(xié)助完成復(fù)雜的數(shù)據(jù)分析、報(bào)告撰寫、設(shè)計(jì)創(chuàng)意等任務(wù)，極大提高了工作效率。在家庭生活中，GPT-4o通過智能家居設(shè)備提供個(gè)性化服務(wù)，從日程管理到娛樂休閑，都變得更加便捷。這些改變不僅僅體現(xiàn)在效率上，更在于GPT-4o為人們提供了更多自由探索和創(chuàng)造的空間。

AI倫理和責(zé)任的討論

隨著GPT-4o等先進(jìn)AI技術(shù)的普及，人們越來越關(guān)注AI倫理和責(zé)任問題。如何確保AI技術(shù)的公正性、透明性和安全性，成為了社會(huì)各界共同關(guān)注的話題。OpenAI在開發(fā)GPT-4o時(shí)，就已經(jīng)考慮到這些問題，并采取了相應(yīng)的措施，如限制某些功能的使用，以防止濫用。同時(shí)，也有越來越多的組織和機(jī)構(gòu)開始制定AI倫理準(zhǔn)則，以指導(dǎo)AI技術(shù)的健康發(fā)展。

對全球語言助手市場的沖擊

GPT-4o的出現(xiàn)，對全球語言助手市場產(chǎn)生了巨大沖擊。它不僅在技術(shù)上超越了現(xiàn)有的語音助手，更在用戶體驗(yàn)上設(shè)定了新的標(biāo)準(zhǔn)。GPT-4o的多語言能力和多模態(tài)交互，使其能夠服務(wù)于更廣泛的用戶群體。這不僅挑戰(zhàn)了其他語音助手的市場地位，也促使整個(gè)行業(yè)向更高的技術(shù)標(biāo)準(zhǔn)邁進(jìn)。

GPT-4o的推出不僅是技術(shù)創(chuàng)新的象征，更是社會(huì)進(jìn)步的標(biāo)志。它改變了人們的工作和生活方式，引發(fā)了關(guān)于AI倫理和責(zé)任的重要討論，并對全球語言助手市場產(chǎn)生了深遠(yuǎn)的影響。

OpenAI創(chuàng)始人山姆奧特曼發(fā)推表示：

在我們今天的公告中，我想強(qiáng)調(diào)兩件事。

首先，我們使命的一個(gè)關(guān)鍵部分是將非常強(qiáng)大的人工智能工具免費(fèi)（或以優(yōu)惠的價(jià)格）提供給人們。我非常自豪我們在 ChatGPT 中免費(fèi)提供了世界上最好的模型，沒有廣告或類似的東西。

當(dāng)我們創(chuàng)辦 OpenAI 時(shí)，我們最初的想法是我們要?jiǎng)?chuàng)造人工智能并利用它為世界創(chuàng)造各種利益。相反，現(xiàn)在看起來我們將創(chuàng)造人工智能，然后其他人將使用它來創(chuàng)造各種令人驚奇的事物，讓我們所有人都受益。

我們是一家企業(yè)，會(huì)發(fā)現(xiàn)很多收費(fèi)的東西，這將幫助我們向（希望如此）數(shù)十億人提供免費(fèi)、出色的人工智能服務(wù)。

其次，新的語音（和視頻）模式是我用過的最好的計(jì)算機(jī)界面。感覺就像電影里的人工智能一樣；我仍然有點(diǎn)驚訝它是真的。事實(shí)證明，達(dá)到人類水平的響應(yīng)時(shí)間和表達(dá)能力是一個(gè)巨大的變化。

最初的 ChatGPT 暗示了語言界面的可能性；這個(gè)新事物給人的感覺有本質(zhì)上的不同。它快速、智能、有趣、自然且有幫助。

對我來說，與電腦交談從來都不是很自然的事情?，F(xiàn)在確實(shí)如此。當(dāng)我們添加（可選）個(gè)性化、訪問您的信息、代表您采取行動(dòng)的能力等等時(shí)，我確實(shí)可以看到一個(gè)令人興奮的未來，我們能夠使用計(jì)算機(jī)做比以往更多的事情。

最后，非常感謝團(tuán)隊(duì)為實(shí)現(xiàn)這一目標(biāo)付出了巨大的努力！

GPT-4o的發(fā)布不僅是OpenAI技術(shù)進(jìn)步的象征，更是人工智能領(lǐng)域一個(gè)新時(shí)代的開啟。它的全面功能和強(qiáng)大性能，預(yù)示著AI將在我們的生活中扮演更加重要的角色，而OpenAI正是這一變革的引領(lǐng)者。

參考資料：

1.https://twitter.com/gdb/status/1790071008499544518

2.https://openai.com/index/hello-gpt-4o/

3.https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/

本文轉(zhuǎn)載自??大噬元獸??，作者： FlerkenS ????