決定大模型能力的關(guān)鍵因素，到底是模型的參數(shù)，還是訓(xùn)練文本的大?。?/span>

谷歌發(fā)布的PalM2，似乎選擇了后者作為提升的主要路徑。

據(jù)悉，谷歌用于訓(xùn)練的PaLM2的文本數(shù)量幾乎是訓(xùn)練其前身模型的5倍。

而且上周宣布PaLM 2時(shí)，谷歌明確表示，該模型比早期的PaLM更小。

谷歌內(nèi)部文件顯示，PaLM經(jīng)過(guò)了5400億的參數(shù)訓(xùn)練，而新推出的PaLM2，訓(xùn)練參數(shù)接近腰斬，只有3400億個(gè)。

技術(shù)文檔中訓(xùn)練數(shù)據(jù)的描述

但是在另一個(gè)模型訓(xùn)練的關(guān)鍵數(shù)據(jù)——訓(xùn)練語(yǔ)料大小上，谷歌開(kāi)始瘋狂堆料，把PaLM的7800億的訓(xùn)練token量直接推到了3.6萬(wàn)億！

而且除了Token數(shù)量的激增，PaLM2在數(shù)據(jù)質(zhì)量上也有很大的提升。

訓(xùn)練數(shù)據(jù)中各個(gè)語(yǔ)言的比例

所以相比PaLM，第二代在英語(yǔ)語(yǔ)料數(shù)據(jù)量沒(méi)有顯著增長(zhǎng)的情況下，英語(yǔ)性能明顯提高，部分原因是因?yàn)橛⒄Z(yǔ)數(shù)據(jù)的質(zhì)量提升了。

大模型路線選擇

OpenAI沒(méi)有公開(kāi)GPT-4的訓(xùn)練參數(shù)數(shù)量，但是谷歌沒(méi)有藏著掖著，主動(dòng)公開(kāi)了PaLM2訓(xùn)練參數(shù)。

而且在谷歌I/O大會(huì)上，還同時(shí)發(fā)布了4個(gè)參數(shù)更少的模型。

其中最小的一款模型 Gecko（壁虎），甚至可以在智能手機(jī)上運(yùn)行。

這一舉動(dòng)側(cè)面反應(yīng)了谷歌未來(lái)的野心，希望在更多的平臺(tái)上部署自己的大模型。

在這個(gè)大背景之下，從長(zhǎng)遠(yuǎn)的角度來(lái)看，谷歌幾乎不可能選擇堆訓(xùn)練參數(shù)量來(lái)提升模型性能，增加訓(xùn)練語(yǔ)料的數(shù)量和質(zhì)量幾乎成了必然的選擇。

PaLM 2：史上最強(qiáng)大模型？

在I/O大會(huì)上宣布PaLM 2時(shí)，谷歌證實(shí)：該模型經(jīng)過(guò)100種語(yǔ)言的訓(xùn)練，可以執(zhí)行廣泛的任務(wù)。它已經(jīng)被用來(lái)為25個(gè)功能和產(chǎn)品提供支持，包括谷歌的實(shí)驗(yàn)性聊天機(jī)器人Bard。

PaLM 2有四種尺寸，從小到大依次是：Gecko（壁虎）、Otter（水獺）、Bison（野牛）和Unicorn（獨(dú)角獸）。

基于現(xiàn)在公開(kāi)披露的數(shù)據(jù)，PaLM 2比現(xiàn)有的任何模型都更強(qiáng)大。

Meta的LLaMA在今年二月推出，它在1.4萬(wàn)億個(gè)token上進(jìn)行了訓(xùn)練。

而上一次OpenAI分享訓(xùn)練規(guī)模，還是在推出GPT-3時(shí)，當(dāng)時(shí)OpenAI說(shuō)，它接受了3000億個(gè)token的訓(xùn)練。

另外，谷歌兩年前曾提出LaMDA模型，當(dāng)時(shí)它接受了1.5萬(wàn)億個(gè)token的訓(xùn)練。

AI軍備競(jìng)賽升溫，公眾要求更高透明度

對(duì)于大模型訓(xùn)練數(shù)據(jù)的細(xì)節(jié)，大廠們都很默契地選擇了「Close」。

發(fā)布GPT-4時(shí)，OpenAI沒(méi)有公布架構(gòu)（包括模型大小）、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等細(xì)節(jié)，理由是「像GPT-4這樣的大規(guī)模模型的競(jìng)爭(zhēng)格局和安全影響」。

被OpenAI逼到墻角的谷歌，也一直渴望展示自己AI技術(shù)的力量，包括如何將其嵌入到搜索、電子郵件、文字處理和電子表格中，但是此前，谷歌一直不愿意公布訓(xùn)練數(shù)據(jù)的大小或其他細(xì)節(jié)。

保密的原因，當(dāng)然就是業(yè)務(wù)的競(jìng)爭(zhēng)性質(zhì)。

無(wú)論是谷歌還是OpenAI，都在爭(zhēng)搶著希望使用聊天機(jī)器人而不是傳統(tǒng)搜索引擎的用戶。

但隨著AI軍備競(jìng)賽的升溫，研究社區(qū)正在要求更高的透明度。

而現(xiàn)在，隨著AI應(yīng)用迅速成為主流，圍繞底層技術(shù)的爭(zhēng)議也愈發(fā)激烈。

隨著新的人工智能應(yīng)用迅速成為主流，圍繞底層技術(shù)的爭(zhēng)議也越來(lái)越激烈。

今年2月，谷歌研究高級(jí)科學(xué)家El Mahdi因公司缺乏透明度，選擇辭職。

周二，OpenAI首席執(zhí)行官Sam Altman在參議院司法小組委員會(huì)關(guān)于隱私和技術(shù)的聽(tīng)證會(huì)上作證，同意立法者的觀點(diǎn)——需要監(jiān)管AI的新系統(tǒng)。

「對(duì)于一項(xiàng)非常新的技術(shù)，我們需要一個(gè)新的框架，」Altman說(shuō)?！府?dāng)然，像我們這樣的公司，對(duì)于在全球推出的工具負(fù)有很大責(zé)任?！?/span>

Bard可以干但ChatGPT干不了的事

1. 訪問(wèn)網(wǎng)絡(luò)

相對(duì)于ChatGPT，Bard的一個(gè)顯著優(yōu)勢(shì)就是——可以訪問(wèn)互聯(lián)網(wǎng)。

問(wèn)問(wèn)今天（5月17日）的體壇大事，Bard快速總結(jié)出來(lái)了。

而ChatGPT無(wú)法直接訪問(wèn)互聯(lián)網(wǎng)，只能通過(guò)其付費(fèi)版本Plus上的插件訪問(wèn)網(wǎng)絡(luò)。

2. 圖像生成

在生成圖像上，Bard也超越了ChatGPT的付費(fèi)和非付費(fèi)版本。

谷歌宣布將通過(guò)集成Adobe Firefly，提供AI圖像生成功能。這個(gè)功能增強(qiáng)了對(duì)話的視覺(jué)效果，讓用戶獲得了上下文更豐富的信息。

3. 語(yǔ)音輸入

在語(yǔ)音輸入方面，Bard也優(yōu)于ChatGPT，用戶只要通過(guò)語(yǔ)音，就可以和模型交互了。

這樣在多任務(wù)處理和打字不方便時(shí)，用戶就多了一種快速獲取響應(yīng)的邊界方式。

小編把今日體壇新聞的問(wèn)題讀了一遍，Bard就自動(dòng)顯示了。唯一要注意的是，英文發(fā)音要足夠標(biāo)準(zhǔn)。??

4. 編碼能力

在編碼能力上，Bard也超越了ChatGPT，它能夠協(xié)助20多種編程語(yǔ)言，包括 C++、Python、Java、TypeScript、JavaScript等。它可以輔助開(kāi)發(fā)者進(jìn)行代碼生成、解釋和調(diào)試。

相比之下，雖然ChatGPT也具有編碼功能，但它在處理額外任務(wù)時(shí)存在不足，相比之下OpenAI的Codex可能更適合執(zhí)行這些任務(wù)。

讓Bard用python生成一個(gè)斐波那契數(shù)列，并打出前10個(gè)數(shù)字。

Bard成功完成了。

5. 高度整合Gmail

與Gmail集成，是Bard是另一個(gè)重要優(yōu)勢(shì)。

Gmail擁有超過(guò)20億用戶，是全球最大的電子郵件服務(wù)商。如果在郵件中能用Bard，無(wú)疑為電子郵件交互開(kāi)辟了新的可能性。

但是，微軟也正把ChatGPT添加到Microsoft 365 中，并將嵌入到 Word、Excel、PowerPoint以及Gmail的競(jìng)爭(zhēng)者中。

6. 分享輸出內(nèi)容

另外，Bard還可以將結(jié)果立即導(dǎo)出到Gmail和Docs。

用戶可以將生成的內(nèi)容直接導(dǎo)出到這些平臺(tái)，輕松與他人分享。這個(gè)功能大大簡(jiǎn)化了共享信息的過(guò)程，使撰寫電子郵件變得非常輕松。

另一方面，OpenAI在設(shè)置中有一個(gè)類似的導(dǎo)出選項(xiàng)。用戶可以導(dǎo)出帳戶詳細(xì)信息和對(duì)話，以可下載文件的形式發(fā)送到電子郵箱中。

7. 支持圖像提示

Bar還有一大功能是，能夠使用圖像作為提示。

用戶只需點(diǎn)擊圖片或使用Google Lens掃描圖像，就可以向Bard尋求幫助了。

比如，用戶可以查找與某張圖片類似的度假勝地，還可以詢問(wèn)其這個(gè)地點(diǎn)的歷史意義。

同樣，GPT-4 也是一個(gè)多模態(tài)大模型，可以接受圖像和文本輸入，不過(guò)截至本文發(fā)布之日，在付費(fèi)版本中也沒(méi)有引入這個(gè)功能。

8. 網(wǎng)頁(yè)摘要

因?yàn)锽ard可以聯(lián)網(wǎng)，因而它可以通過(guò)簡(jiǎn)單地共享鏈接來(lái)總結(jié)某個(gè)網(wǎng)頁(yè)。

相比之下，ChatGPT不能聯(lián)網(wǎng)，用戶只能手動(dòng)復(fù)制和粘貼想要總結(jié)的內(nèi)容。

不過(guò)，Bard也有其局限性，特別是在毒性方面。

在測(cè)試過(guò)程中，當(dāng)給出明確的有毒提示時(shí)，Bard在超過(guò)30%的時(shí)間內(nèi)，會(huì)產(chǎn)生有毒反應(yīng)。

此外，在英語(yǔ)、德語(yǔ)和葡萄牙語(yǔ)等語(yǔ)言中，PaLM 2總體上會(huì)表現(xiàn)出更明顯的毒性行為。

總的來(lái)說(shuō)，由于不同的架構(gòu)和測(cè)試方法，直接比較這PaLM2和GPT-4有一定的挑戰(zhàn)性。

在推理任務(wù)中，PaLM 2的表現(xiàn)與GPT-4類似，甚至更好。

不過(guò)，在編碼任務(wù)中，PaLM 2需要多次嘗試，以及額外的編碼token，才能獲得良好的性能。