谷歌罕見(jiàn)open的AI，給開(kāi)源大模型到底帶來(lái)了什么？

Gemma從發(fā)布到現(xiàn)在已經(jīng)時(shí)過(guò)四日，谷歌久違的這次開(kāi)源，可謂是給全球科技圈投下了一枚重磅炸彈。

在最初發(fā)布之際，不論是從谷歌官方還是Jeff Dean的發(fā)文來(lái)看，都強(qiáng)調(diào)的是Gemma 7B已經(jīng)全面超越了同量級(jí)的Llama 2和Mistral。

在與此前最火熱的開(kāi)源大模型Llama 2在細(xì)節(jié)上做比較，不論是在綜合能力，以及推理、數(shù)學(xué)和編程等能力上，完全屬于all win的狀態(tài)。

科技巨頭出品、全面對(duì)外開(kāi)放、免費(fèi)可商用、筆記本就能跑……各種福利標(biāo)簽的加持之下，近乎讓全球的“觀眾老爺們”為之雀躍。

而就在最近，不少網(wǎng)友們也開(kāi)始了對(duì)Gemma的各種測(cè)評(píng)。

例如有人就用ollama在Macbook上跑了一下Gemma 7B，所做的任務(wù)是根據(jù)文章開(kāi)頭的文字來(lái)判定文章的類型。

并在體驗(yàn)過(guò)后給出了評(píng)價(jià)：

還比較穩(wěn)定和準(zhǔn)確！

還有網(wǎng)友在對(duì)Gemma和Mistral做了對(duì)比測(cè)試之后發(fā)現(xiàn)：

Gemma-7B確實(shí)能正確回答Mistral-7B回答不了的問(wèn)題。

由此種種表現(xiàn)，網(wǎng)友不禁發(fā)出感慨：

谷歌打破了開(kāi)源大模型的格局：形成Gemma、Llama和Mistral三足鼎立之勢(shì)。

雖然成果足以令人振奮，但似乎在開(kāi)源大模型這件事上，全球的目光都還是聚焦在了國(guó)外“頂流”們的身上。

隨即而來(lái)的一個(gè)問(wèn)題便是：

中國(guó)開(kāi)源大模型，怎么樣了？

在開(kāi)源大模型領(lǐng)域，除了歐美主流科技巨頭之外，中國(guó)“選手”也是長(zhǎng)期占有一席之地。

那么隨著Gemma的問(wèn)世，在榜單排名這件事上，是否又掀起了些許波瀾？

結(jié)果是有點(diǎn)意外的——

在HuggingFace的開(kāi)源大模型排行榜里，Gemma排在了7B預(yù)訓(xùn)練模型的第三名：

第一名和第二名均被國(guó)產(chǎn)大模型選手包攬——InternLM2（書(shū)?·浦語(yǔ)2.0），由商湯科技和上海AI實(shí)驗(yàn)室等單位聯(lián)合打造。

那么新晉開(kāi)源頂流Gemma，是在哪些細(xì)節(jié)上失分的呢？

在看完平均得分情況之后，我們繼續(xù)來(lái)看下細(xì)分賽道的情況。

首先是在綜合能力（General）上，InternLM2-7B的得分為65.8分，略高于Gemma-7B。

其次是在推理能力（Reasoning）的2個(gè)基準(zhǔn)中上，InternLM2-7B拿到一勝一平的成績(jī)。

接下來(lái)是數(shù)學(xué)能力（Math），同樣是2個(gè)基準(zhǔn)，InternLM2-7B在 GSM8K 評(píng)測(cè)基準(zhǔn)中大幅超過(guò) 16 分。

最后是編程能力（Code），InternLM2-7B則是高出了整整10分。

若是將Llama-2 7B也放進(jìn)來(lái)，那么InternLM2-7B則是在各項(xiàng)做到了完勝。

不僅如此，即便是拿7B的InternLM2和更大體量的13B Llama-2做比較，在各項(xiàng)細(xì)分成績(jī)中依舊是完勝。

更直觀一些，InternLM2和Gemma之間的性能比較如下：

意外嗎？其實(shí)也并不意外。

因?yàn)閲?guó)產(chǎn)開(kāi)源大模型在Gemma發(fā)布之前，就已經(jīng)在各種榜單中站穩(wěn)了一席之地，而且還不是曇花一現(xiàn)的那種。

例如InternLM2就是于今年1月17日“出道”，2種參數(shù)規(guī)格、3種模型版本，共計(jì)6個(gè)模型，全部免費(fèi)可商用：

• InternLM2-Base（7B、20B）
• InternLM2（7B、20B）
• InternLM2-Chat（7B、20B）

當(dāng)時(shí)在與全球眾多7B量級(jí)選手的同臺(tái)競(jìng)技中，InternLM2便以“大圈包小圈”的姿勢(shì)在性能上取得了一定的優(yōu)勢(shì)。

而且在與ChatGPT的比較過(guò)程中，在重點(diǎn)能力上，例如推理、數(shù)學(xué)、代碼等方面是超越了ChatGPT的。

比如InternLM2-Chat-20B在MATH、GSM8K上，表現(xiàn)都超過(guò)ChatGPT；在配合代碼解釋器的條件下，則能達(dá)到和GPT-4相仿水平。

InternLM2還支持200K超長(zhǎng)上下文，可輕松讀200頁(yè)財(cái)報(bào)。200K文本全文范圍關(guān)鍵信息召回準(zhǔn)確率達(dá)95.62%。

例如在實(shí)際應(yīng)用過(guò)程中，將長(zhǎng)達(dá)3個(gè)小時(shí)的會(huì)議記錄、212頁(yè)長(zhǎng)的財(cái)報(bào)內(nèi)容“投喂”給它，InterLM2可以輕松hold住。

在不依靠計(jì)算器等外部工具的情況下，可進(jìn)行部分復(fù)雜數(shù)學(xué)題的運(yùn)算和求解。

例如100以內(nèi)數(shù)學(xué)運(yùn)算上可做到接近100%準(zhǔn)確率，1000以內(nèi)達(dá)到80%準(zhǔn)確率。

如果配合代碼解釋器，20B模型已可以求解積分等大學(xué)級(jí)別數(shù)學(xué)題。

如何做到的呢？我們從研究團(tuán)隊(duì)了解到，其所采取的策略關(guān)鍵并非是卷大模型的參數(shù)，而是在數(shù)據(jù)。

在團(tuán)隊(duì)看來(lái)，提煉出一版非常好的數(shù)據(jù)后，它可以支持不同規(guī)格模型的訓(xùn)練：

所以首先把很大一部分精力花在數(shù)據(jù)迭代上，讓數(shù)據(jù)在一個(gè)領(lǐng)先的水平。在中輕量級(jí)模型上迭代數(shù)據(jù)，可以讓我們走得更快。

團(tuán)隊(duì)為此開(kāi)發(fā)了一套先進(jìn)的數(shù)據(jù)清洗和過(guò)濾系統(tǒng)，核心工作分為三個(gè)關(guān)鍵部分：

1. 多維度數(shù)據(jù)價(jià)值分析：該系統(tǒng)通過(guò)評(píng)估數(shù)據(jù)的語(yǔ)言質(zhì)量和信息密度等多個(gè)方面，對(duì)數(shù)據(jù)的價(jià)值進(jìn)行全面分析和提升。例如，研究發(fā)現(xiàn)論壇網(wǎng)頁(yè)評(píng)論對(duì)模型性能的提升作用有限。
2. 基于高質(zhì)量語(yǔ)料的數(shù)據(jù)擴(kuò)展：團(tuán)隊(duì)利用高質(zhì)量語(yǔ)料的特性，從現(xiàn)實(shí)世界、網(wǎng)絡(luò)資源和現(xiàn)有語(yǔ)料庫(kù)中收集更多相關(guān)數(shù)據(jù)，以進(jìn)一步豐富數(shù)據(jù)集。
3. 目標(biāo)化數(shù)據(jù)補(bǔ)充：通過(guò)有目的性地補(bǔ)充語(yǔ)料，特別是強(qiáng)化世界知識(shí)、數(shù)學(xué)邏輯和編程代碼等領(lǐng)域的核心能力，以提升數(shù)據(jù)集的深度和廣度。

如此“三步走”的系統(tǒng)設(shè)計(jì)便讓數(shù)據(jù)集得到了相應(yīng)的優(yōu)化，讓它更加豐富、準(zhǔn)確，并更好地支持模型的訓(xùn)練和應(yīng)用。

當(dāng)然，InternLM2的開(kāi)發(fā)不僅僅局限于提升模型的基礎(chǔ)性能，同時(shí)也緊跟當(dāng)前的應(yīng)用趨勢(shì)，對(duì)特定的下游任務(wù)進(jìn)行了性能增強(qiáng)。

例如，針對(duì)當(dāng)前流行的超長(zhǎng)上下文處理需求，團(tuán)隊(duì)指出，在工具調(diào)用、數(shù)理推理等應(yīng)用場(chǎng)景中，需要處理更長(zhǎng)的上下文信息。

為了應(yīng)對(duì)這一挑戰(zhàn)，InternLM2通過(guò)擴(kuò)大訓(xùn)練窗口的容量和改進(jìn)位置編碼技術(shù)，同時(shí)確保訓(xùn)練數(shù)據(jù)的質(zhì)量和結(jié)構(gòu)化關(guān)系，成功地將上下文窗口的支持能力擴(kuò)展到了20萬(wàn)個(gè)tokens。

如此一來(lái)，不僅提高了模型處理長(zhǎng)文本的能力，也優(yōu)化了整體的訓(xùn)練效率。

這便是InternLM2從“出道”至今，即便是面對(duì)頂流Gemma依舊能夠穩(wěn)坐榜首的原因了。

結(jié)語(yǔ)

最后，回答一下文章最開(kāi)始的那個(gè)問(wèn)題——

Gemma給開(kāi)源大模型到底帶來(lái)了什么？

首先，是趨勢(shì)。

自從大模型的熱度起來(lái)之后，對(duì)于開(kāi)源和閉源的話題也是一直在持續(xù)。

OpenAI的ChatGPT、GPT-4等，所代表的就是閉源大模型，其所具備的實(shí)力也是有目共睹；而此前Llama、Mitral等則是開(kāi)源大模型的代表。

谷歌作為AI巨頭，在此前大模型巨頭混戰(zhàn)中是略顯疲態(tài)的，畢竟作為對(duì)標(biāo)產(chǎn)品的Gemini，似乎也并未能撼動(dòng)OpenAI的領(lǐng)先地位。

而此次谷歌罕見(jiàn)的開(kāi)源了大模型、發(fā)布Gemma，則是要以此來(lái)對(duì)標(biāo)開(kāi)源界的其它選手，并且從目前公布的成績(jī)來(lái)看，谷歌是取得了一定的優(yōu)勢(shì)。

同時(shí)，從側(cè)面也反應(yīng)出了，開(kāi)源項(xiàng)目在大模型的發(fā)展中有著重要的作用。

其次，是信心。

或許很多人對(duì)于大模型的發(fā)展依舊停留或關(guān)注于國(guó)外主流的科技巨頭。

但從各種榜單、評(píng)測(cè)的數(shù)據(jù)上來(lái)看，中國(guó)的大模型同樣也具備很強(qiáng)的競(jìng)爭(zhēng)實(shí)力。

不僅僅是InternLM2-7B的開(kāi)源模型，在不同參數(shù)體量的模型上，都有國(guó)產(chǎn)大模型選手在加入競(jìng)爭(zhēng)。

而且從結(jié)果上，已然是做到了中文和英文整體能力上的全面超越。

從這一點(diǎn)上來(lái)看，Gemma的發(fā)布不僅是在開(kāi)源大模型界新添強(qiáng)勢(shì)玩家這么簡(jiǎn)單，更是給中國(guó)開(kāi)源大模型，甚至整個(gè)AI大模型行業(yè)都帶來(lái)了一份信心。

總而言之，從開(kāi)年到現(xiàn)在短短2個(gè)月的時(shí)間，我們能夠非常直觀感受到的一點(diǎn)便是大模型的戰(zhàn)場(chǎng)是越發(fā)的熱鬧。

不論是國(guó)內(nèi)國(guó)外、開(kāi)源閉源，亦或是各種多模態(tài)，從Gemini到Gemma，從Sora到Stable Diffusion 3，各大科技廠商你追我趕的態(tài)勢(shì)愈演愈烈。

但有一點(diǎn)是較為明確的，那就是所有發(fā)布都在趨向于推理，趨向于如何把技術(shù)用起來(lái)。

因此，或許大模型在接下來(lái)的進(jìn)程中，誰(shuí)能讓自家的產(chǎn)品“快好省”地用起來(lái)，誰(shuí)就能笑到最后。