解說梅西球賽、英雄聯(lián)盟，OpenAI GPT-4視覺API被開發(fā)者玩出新花樣
文章開始，我們先來看一段球賽解說視頻：
是不是感覺聽起來不太對勁？
你的感覺沒錯，因為這段解說是用 AI 生成的，這個大喊「梅西！梅西！」的聲音居然來自 AI。
這是 X 平臺（原推特）博主 @Gonzalo Espinoza Graham 發(fā)布的一段視頻。他表示，在制作過程中，他主要用到了 GPT-4V 和 TTS 兩項技術(shù)。
GPT-4V 是 OpenAI 前段時間發(fā)布的一個多模態(tài)大模型，既能像原版的 ChatGPT 一樣通過文字聊天，也能讀懂用戶在聊天中給到的圖像。更令人興奮的是，在昨天的開發(fā)者大會上，OpenAI 宣布，他們已經(jīng)開放了視覺能力相關(guān)的 API——gpt-4-vision-preview。通過這個 API，開發(fā)者可以用 OpenAI 最新的 GPT-4 Turbo（視覺版）來開發(fā)新應(yīng)用。
對于這個期待已久的 API，開發(fā)者們都躍躍欲試。因此，API 剛開放一天，就有不少開發(fā)者曬出了試用結(jié)果，這個球賽解說就是其中之一。
博主表示，為了制作這個解說視頻，他將原視頻的幀分批傳給 gpt-4-vision-preview，然后通過一些簡單的提示（prompt）要求模型生成一段旁白，最后把得到的結(jié)果用 TTS（文本轉(zhuǎn)語音技術(shù)）轉(zhuǎn)成音頻，就可以得到視頻中展示的效果。如果稍加編輯，理論上還能得到更好的結(jié)果。按照 OpenAI 目前的定價，制作這個視頻大約要花 30 美元，作者直呼「不便宜」。
相關(guān)代碼：https://github.com/ggoonnzzaallo/llm_experiments/blob/main/narrator.ipynb
除了球賽，還有開發(fā)者曬出了自己用 OpenAI 視覺 API 解說《英雄聯(lián)盟》的 demo，這個 demo 用到的是 LNG 與 T1 的一場比賽視頻，引起了全網(wǎng) 50 多萬網(wǎng)友的圍觀。
解說效果是這樣的：
不過，這類視頻具體要怎么做呢？好在，除了這些成品效果，部分開發(fā)者還曬出了自己總結(jié)的教程，以及每個步驟中涉及的具體工具。
從 X 平臺用戶 @小互曬出的內(nèi)容來開，整個實現(xiàn)過程可以分為 7 步：
- 提取視頻幀；
- 構(gòu)建描述提示；
- 發(fā)送 GPT 請求；
- 制作語音解說提示；
- 生成語音解說腳本；
- 將腳本轉(zhuǎn)換為音頻；
- 將音頻與視頻結(jié)合。
具體內(nèi)容請參見以下教程：
不過，有人在評論區(qū)提出疑問：解說的這些比賽都是以前的，實時的比賽能解說嗎？
能否解說實時的比賽我們現(xiàn)在還看不出來，不過，確實有開發(fā)者曬出了用 OpenAI 視覺 API 實時解讀攝像頭內(nèi)容的 demo：
項目鏈接：https://github.com/bdekraker/WebcamGPT-Vision
做了類似實驗的開發(fā)者評價說，OpenAI 視覺 API 的識別速度很快、準確性也很高。
甚至有人直接把它當實時繪圖工具來用，把手里的草圖實時轉(zhuǎn)換為此前調(diào)用專業(yè)繪圖工具才能繪制的圖表：
不過，這個實時效果的實驗會受到 OpenAI 設(shè)置的速率限制。
可以說，OpenAI 正通過 GPT-4V 以及剛剛開放的視覺 API 讓全世界看到多模態(tài)的力量，以上效果只是冰山一角。
其實，無論是在現(xiàn)實生活中，還是在研究領(lǐng)域，一個能讀懂圖像、視頻的 AI 都有廣泛的用途。
在生活中，它能用于構(gòu)建更加智能的機器人，讓機器人實時分析眼前的情景，隨機應(yīng)變，這也是當前大火的具身智能所研究的問題。
國內(nèi)創(chuàng)業(yè)公司開發(fā)的具身智能機器人（參見《獨家 | 達摩院后的下一站：陳俊波推出具身智能大模型，要給所有機器人做一顆腦袋》）
此外，它還能用于改善視障群體的生活質(zhì)量，幫助他們解讀視頻畫面和生活場景。其實，在字節(jié)跳動去年舉辦的一個幫助視障群體的公益比賽中，我們就能看到不少類似的創(chuàng)意，只是當時多模態(tài)技術(shù)還不夠成熟（參見《穿顏色成對的襪子，追最新的?。哼@群 coder 正幫視障者移走身上的大山》）。
在微軟最近的一篇論文中，研究者也展示了他們在這方面取得的進展，比如用 GPT-4V 解讀《憨豆先生》劇情。
這種優(yōu)秀的視頻解讀能力能夠幫助研究人員更好地理解視頻，從而把廣泛存在的視頻轉(zhuǎn)化為新的訓(xùn)練數(shù)據(jù)，訓(xùn)練出更聰明的 AI，形成一個閉環(huán)。
看來，一個更智能的世界正在加速到來。
