?作者 | 徐杰承

在微軟New Bing發(fā)布前，絕大部分人對(duì)其的預(yù)測(cè)都是——New Bing的整體表現(xiàn)將會(huì)與ChatGPT極其相似，即使二者在細(xì)節(jié)層面存在某些差異，用戶也應(yīng)當(dāng)無(wú)法從體驗(yàn)角度發(fā)現(xiàn)這些區(qū)別。然而隨著New Bing的發(fā)布與更新，越來(lái)越多的人開(kāi)始懷疑，微軟與OpenAI此前那宗100億美元的交易，似乎不止關(guān)系到ChatGPT這一個(gè)“寶貝”。

1、微軟官宣：集成全新模型

雖然New Bing與ChatGPT都基于GPT 3.5系列模型微調(diào)而成，但在2月中旬，微軟宣稱已將一種全新的AI語(yǔ)言模型集成到了New Bing之中，使其能夠擁有比ChatGPT更優(yōu)秀的表現(xiàn)。雖然時(shí)至今日微軟仍沒(méi)有明確表示新AI模型的來(lái)源及相關(guān)數(shù)據(jù)等信息，但部分業(yè)內(nèi)人士猜測(cè)該模型很可能與OpenAI遲遲未公開(kāi)的GPT-4有關(guān)。

其實(shí)早在去年年底，業(yè)內(nèi)上便已流出了大量關(guān)于GPT-4模型的傳聞，部分消息稱GPT-4模型或?qū)碛谐?00萬(wàn)億參數(shù)（GPT-3為1750億），也有專家預(yù)測(cè)GPT-4將更加注重成本控制，模型參數(shù)量相比于GPT-3不會(huì)有太大變化。據(jù)當(dāng)時(shí)部分外媒報(bào)道，GPT-4會(huì)于2023年2月左右發(fā)布，雖然通過(guò)近期OpenAI的種種表現(xiàn)及其CEO的發(fā)言來(lái)看，該信息并不準(zhǔn)確。但據(jù)《紐約時(shí)報(bào)》最新消息稱：GPT-4模型將有可能于2023年上半年發(fā)布。

且相關(guān)測(cè)試數(shù)據(jù)也顯示，更新后的New Bing潛在模型比ChatGPT的延遲更低。此外，從實(shí)際的對(duì)話表現(xiàn)來(lái)看，目前的New Bing與ChatGPT也存在著一定區(qū)別，在與用戶對(duì)話過(guò)程中，New Bing表現(xiàn)出了比ChatGPT更自然、更本能的狀態(tài)。但當(dāng)對(duì)話持續(xù)性增加時(shí)，New Bing也出現(xiàn)了像GPT系列模型一樣的重復(fù)回應(yīng)趨勢(shì)。

2、唯一解決方案

在ChatGPT發(fā)布期間，OpenAI曾通過(guò)其官方博客發(fā)文表示：公司已經(jīng)“從他們的早期模型如GPT-3和Codex的部署中吸取了教訓(xùn)”，選擇使用RLHF(利用人類反饋信號(hào)直接優(yōu)化語(yǔ)言模型)和監(jiān)督學(xué)習(xí)的混合模式來(lái)訓(xùn)練ChatGPT。據(jù)OpenAI介紹，使用RLHF方式可以一定程度上降低ChatGPT輸出惡意及錯(cuò)誤信息的概率。

但從New Bing的角度來(lái)看，彼時(shí)的微軟迫于與谷歌Bard的競(jìng)爭(zhēng)，不得不加快New Bing的訓(xùn)練周期。微軟在啟動(dòng)New Bing項(xiàng)目到發(fā)布期間的不到3個(gè)月時(shí)間內(nèi)，是不足以重建完整的RLHF訓(xùn)練通道并進(jìn)行整合的。因此微軟在進(jìn)行New Bing的模型訓(xùn)練時(shí)所采用的應(yīng)當(dāng)依然是傳統(tǒng)的監(jiān)督學(xué)習(xí)模式。這也導(dǎo)致了New Bing自發(fā)布以來(lái)，一直受到由開(kāi)發(fā)倉(cāng)促、缺乏前期訓(xùn)練所帶來(lái)的準(zhǔn)確性問(wèn)題的困擾。

而據(jù)相關(guān)消息顯示，微軟目前正在通過(guò)多種方式嘗試解決New Bing生成內(nèi)容準(zhǔn)確性的問(wèn)題并已取得了一些成果，但優(yōu)化方案中并沒(méi)有明確提及New Bing使用了RLHF模式重新訓(xùn)練模型。對(duì)此，部分專家推測(cè)，微軟很有可能是通過(guò)集成其他AI語(yǔ)言模型生成過(guò)濾器的方式對(duì)New Bing的生成內(nèi)容進(jìn)行了優(yōu)化。

前Playment AI研究員Khamisi也在自己的個(gè)人博客中分析了這個(gè)問(wèn)題：“無(wú)論ChatGPT還是目前公開(kāi)的其他模型都無(wú)法很好的控制生成惡意信息及虛假信息，如果微軟希望解除對(duì)New Bing的問(wèn)答次數(shù)限制，最好的方式就是等待OpenAI給出一些具備該能力的模型并在New Bing中使用它們，如今看來(lái)微軟似乎已經(jīng)在某種程度上做到了這件事?！?/p>

3、如膠似漆的合作階段

此外，另一點(diǎn)值得注意的是，盡管OpenAI和微軟的合作關(guān)系一直十分密切，但在“關(guān)于ChatGPT的合作”之前，二者之間的關(guān)系還遠(yuǎn)未達(dá)到“同穿一條褲子”的程度。在此前的種種合作及交易中，當(dāng)涉及到數(shù)據(jù)集以及各自的基礎(chǔ)設(shè)施時(shí)，他們可以說(shuō)從未對(duì)彼此敞過(guò)開(kāi)心扉。

然而就在今年年初，微軟宣布了與OpenAI長(zhǎng)期合作伙伴關(guān)系的第三階段，除了數(shù)年中數(shù)十億美元的投資外，更重要的一點(diǎn)是：微軟在該階段中允許了OpenAI公司及其開(kāi)發(fā)人員通過(guò)Azure訪問(wèn)微軟內(nèi)部最好的AI基礎(chǔ)設(shè)施、模型和工具鏈。而在此之后，OpenAI也立即進(jìn)一步加大了在模型數(shù)據(jù)方面的投入。

據(jù)外媒報(bào)道：從1月末開(kāi)始，OpenAI已將其數(shù)據(jù)標(biāo)記工作外包給了一家于舊金山的數(shù)據(jù)公司，試圖依靠更準(zhǔn)確的數(shù)據(jù)為其部分AI模型建立更加優(yōu)質(zhì)的內(nèi)容過(guò)濾器。而OpenAI的這一舉動(dòng)，基本可以看做是在得到支持后對(duì)微軟表示衷心。結(jié)合以上種種現(xiàn)象，我們有理由相信微軟目前很可能已經(jīng)獲得了GPT-4模型的部分使用權(quán)限，并已開(kāi)始嘗試將其整合進(jìn)自家搜索引擎及對(duì)話機(jī)器人之中。

4、寫在最后

總之無(wú)論如何，如今微軟與OpenAI的合作已經(jīng)進(jìn)入深水區(qū)，且GPT-4的公開(kāi)發(fā)布也已指日可待。如果OpenAI希望在正式發(fā)布前對(duì)GPT-4進(jìn)行更加完善的測(cè)試，那么擁有海量數(shù)據(jù)及用戶的老大哥微軟無(wú)疑是他們最好的選擇，而從ChatGPT中獲利無(wú)數(shù)的微軟也大概率會(huì)欣然接受這位小老弟的請(qǐng)求，畢竟在如今的AI圈內(nèi)，已經(jīng)沒(méi)什么能比GPT模型的吸金能力更強(qiáng)了。

但從此前多方對(duì)GPT-4模型的推測(cè)來(lái)看，即使目前New Bing已經(jīng)在內(nèi)部實(shí)現(xiàn)了對(duì)GPT-4模型的集成，其應(yīng)當(dāng)也只是依靠模型對(duì)New Bing的部分現(xiàn)有功能進(jìn)行了優(yōu)化，并未將GPT-4的創(chuàng)新性能力公之于眾，這一舉措也的確符合微軟一項(xiàng)保守的行事風(fēng)格，更何況其競(jìng)爭(zhēng)對(duì)手谷歌不久前剛通過(guò)Bard展示了一波什么叫“心急吃不了熱豆腐”。雖然截止目前，無(wú)論是微軟還是OpenAI都仍未向外界透露更多有關(guān)New Bing與GPT-4的消息，但了解到他們當(dāng)前的一些動(dòng)態(tài)后，相信每個(gè)人對(duì)于未來(lái)的期待都又增加了一分。

參考鏈接：

https://blogs.microsoft.com/blog/microsoftandopenaiextendpartnership/

https://www.nytimes.com/technology/microsoft-ai-chatgpt-bing.html

https://time.com/6247678/openai-chatgpt-kenya-workers/

https://analyticsindiamag.com/13-not-to-miss-research-papers-on-llms/