自微軟3月初發(fā)布多模態(tài)模型 Kosmos-1 以來，一直在測試和調(diào)整 OpenAI 的多模態(tài)模型，并將其更好地兼容微軟自有產(chǎn)品。

果不其然，趁著GPT-4發(fā)布之際，微軟也正式攤牌，New Bing早就已經(jīng)用上GPT-4了。

ChatGPT用的語言模型是 GPT-3.5，在談到GPT-4比前一個版本強(qiáng)大在哪里時，OpenAI稱，雖然這兩個版本在隨意的談話中看起來很相似，但「當(dāng)任務(wù)的復(fù)雜性達(dá)到足夠的閾值時，差異就會出現(xiàn)」，GPT-4更可靠、更有創(chuàng)意，并且能夠處理更細(xì)微的指令。

王者加冕？關(guān)于GPT-4的八點觀察

1. 再度驚艷，強(qiáng)過人類

如果說GPT-3系列模型向大家證明了AI能夠在一個模型里做多個任務(wù)，指明實現(xiàn)AGI的路徑，GPT-4在很多任務(wù)上已經(jīng)達(dá)到人類水平（human-level），甚至比人類表現(xiàn)更好。GPT-4在很多專業(yè)的學(xué)術(shù)考試上已經(jīng)超越90%的人類，比如在模擬律師考試中，分?jǐn)?shù)在應(yīng)試者的前10%左右。對此，各類中小學(xué)、大學(xué)和專業(yè)教育該如何應(yīng)對？

2. 「科學(xué)」煉丹

雖然OpenAI此次并未公布具體參數(shù)，但可以猜到GPT-4模型一定不小，模型太多就意味著高額訓(xùn)練成本。與此同時，訓(xùn)練模型也很像「煉丹」，需要做很多實驗，如果這些實驗都是在真實環(huán)境下去訓(xùn)練，高昂成本壓力不是誰都能承受的。

為此，OpenAI別出心裁搞了一個所謂的「predictable scaling」，簡言之就是用萬分之一的成本來預(yù)測各個實驗的結(jié)果（loss和human eval)。如此一來，就把原本大模型「碰運氣」的煉丹訓(xùn)練升級為「半科學(xué)」的煉丹。

3. 眾包評測，一舉雙得

這次非常「取巧」地提供了一個open source的OpenAI Evals，用眾包方式開放給各位開發(fā)者或愛好者，邀請大家使用Evals來測試模型，同時籠絡(luò)開發(fā)者生態(tài)。這一方式，既讓大家有參與感，又能讓大家免費幫忙評估提高系統(tǒng)，OpenAI直接獲得問題和反饋，一石二鳥。

4. 工程補(bǔ)漏

這次還發(fā)布了一個System Card，是一個開放的「打補(bǔ)丁」工具，可以發(fā)現(xiàn)漏洞減少語言模型的「胡說八道」問題。系統(tǒng)打了各種各樣的補(bǔ)丁做預(yù)處理和后處理，后面還會開放代碼把打補(bǔ)丁能力眾包給大家，OpenAI未來也許可以讓大家?guī)退黄鹱觥＿@標(biāo)志著LLM終于從一個優(yōu)雅簡單的next token prediction任務(wù)進(jìn)入了各種messy的工程hack了。

5. 多模態(tài)

自上周德國微軟透露GPT-4是多模態(tài)后，大眾可謂萬眾期待。

GPT-4千呼萬喚始出來，被譽為「堪比人腦」的多模態(tài)其實跟目前很多論文闡述的多模態(tài)能力并無太多差別，主要區(qū)別就是把文本模型的few-shot和邏輯鏈（COT）結(jié)合進(jìn)來，這里有個前提是需要一個基礎(chǔ)能力很好的文本LLM再加多模態(tài)，會產(chǎn)生不錯的效果。

6. 有計劃地放出「王炸」

按照OpenAI演示GPT-4的demo視頻里的說法，GPT-4 早在去年8月就已完成訓(xùn)練，但今天才發(fā)布，剩下的時間都在進(jìn)行大量測試和各種查漏補(bǔ)缺，以及最重要的去除危險內(nèi)容生成的工作。

當(dāng)大家還沉浸在ChatGPT驚人的生成能力之時，OpenAI已經(jīng)搞定GPT-4，這波谷歌工程師估計又要熬夜追趕了？

7. OpenAI不再Open

OpenAI在公開的論文里完全沒有提及任何模型參數(shù)和數(shù)據(jù)規(guī)模（網(wǎng)傳GPT-4參數(shù)已達(dá)100萬億），也沒有任何技術(shù)原理，對此解釋說是為了普惠大眾，怕大家學(xué)會了怎么做GPT-4之后會用來做惡，觸發(fā)一些不可控的事情發(fā)生，個人完全不認(rèn)同這種此地?zé)o銀的做法。

8. 集中力量辦大事

論文除了各種「炫技」，還特別用了三頁把所有為GPT-4不同系統(tǒng)有貢獻(xiàn)人員都列出來，粗略估計應(yīng)該已經(jīng)超過百人，再次體現(xiàn)OpenAI內(nèi)部團(tuán)隊成員眾志成城、高度協(xié)作的狀態(tài)。以此對比其他幾家的團(tuán)隊作戰(zhàn)能力，在眾志成城這方面是不是差得有點遠(yuǎn)？

目前多模態(tài)大模型已經(jīng)成為整個AI大模型發(fā)展的趨勢和重要方向，而在這場大模型AI「軍備競賽」中，谷歌、微軟、DeepMind等科技巨頭都積極推出多模態(tài)大模型（MLLM）或大模型（LLM）。

開啟新一輪軍備競賽：多模態(tài)大模型

微軟：Kosmos-1

微軟在3月初發(fā)布擁有16億參數(shù)的多模態(tài)模型 Kosmos-1，網(wǎng)絡(luò)結(jié)構(gòu)基于 Transformer 的因果語言模型。其中，Transformer 解碼器用作多模態(tài)輸入的通用接口。

除了各種自然語言任務(wù)，Kosmos-1 模型能夠原生處理廣泛的感知密集型任務(wù)，如視覺對話、視覺解釋、視覺問答、圖像字幕、簡單的數(shù)學(xué)方程式、OCR 和帶描述的零樣本圖像分類。

谷歌：PaLM-E

3月初，谷歌和柏林工業(yè)大學(xué)的研究團(tuán)隊推出目前最大的視覺語言模型——PaLM-E，參數(shù)量高達(dá)5620億（PaLM-540B+ViT-22B）。

PaLM-E是一個僅有解碼器的大模型，在給定前綴（prefix）或提示（prompt）下，能夠以自回歸方式生成文本補(bǔ)全。模型通過加一個編碼器，模型可以將圖像或感知數(shù)據(jù)編碼為一系列與語言標(biāo)記大小相同的向量，將此作為輸入用于下一個token預(yù)測，進(jìn)行端到端訓(xùn)練。

DeepMind：Flamingo

DeepMind在去年4月推出Flamingo視覺語言模型，模型將圖像、視頻和文本作為提示（prompt），輸出相關(guān)語言，只需要少量的特定例子既能解決很多問題，無需額外訓(xùn)練。

通過交叉輸入圖片（視頻）和文本的方式訓(xùn)練模型，使模型具有 few-shot 的多模態(tài)序列推理能力，完成「文本描述補(bǔ)全、VQA / Text-VQA」等多種任務(wù)。

目前，多模態(tài)大模型已顯示更多應(yīng)用可能性，除了相對成熟的文生圖外，人機(jī)互動、機(jī)器人控制、圖片搜索、語音生成等大量應(yīng)用逐一出現(xiàn)。

綜合來看，GPT-4不會是AGI，但多模態(tài)大模型已經(jīng)是一個清晰且確定的發(fā)展方向。建立統(tǒng)一的、跨場景、多任務(wù)的多模態(tài)基礎(chǔ)模型會成為人工智能發(fā)展的主流趨勢之一。

雨果說「科學(xué)到了最后階段，便遇上了想象」，多模態(tài)大模型的未來或許正超越人類的想象。