剛剛，谷歌殺入開(kāi)源大模型。

開(kāi)源領(lǐng)域大模型，迎來(lái)了重磅新玩家。

谷歌推出了全新的開(kāi)源模型系列「Gemma」。相比 Gemini，Gemma 更加輕量，同時(shí)保持免費(fèi)可用，模型權(quán)重也一并開(kāi)源了，且允許商用。

Gemma 官方頁(yè)面：https://ai.google.dev/gemma/

本次發(fā)布包含兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B。每種規(guī)模都有預(yù)訓(xùn)練和指令微調(diào)版本。想使用的人可以通過(guò) Kaggle、谷歌的 Colab Notebook 或通過(guò) Google Cloud 訪問(wèn)。

當(dāng)然，Gemma 也第一時(shí)間上線了 HuggingFace 和 HuggingChat，每個(gè)人都能試一下它的生成能力：

盡管體量較小，但谷歌表示 Gemma 模型已經(jīng)「在關(guān)鍵基準(zhǔn)測(cè)試中明顯超越了更大的模型」，對(duì)比的包括 Llama-2 7B 和 13B，以及風(fēng)頭正勁的 Mistral 7B。

而且 Gemma「能夠直接在開(kāi)發(fā)人員的筆記本電腦或臺(tái)式電腦上運(yùn)行」。除了輕量級(jí)模型之外，谷歌還推出了鼓勵(lì)協(xié)作的工具以及負(fù)責(zé)任地使用這些模型的指南。

Keras 作者 Fran?ois Chollet 對(duì)此直接表示：最強(qiáng)開(kāi)源大模型的位置現(xiàn)在易主了。

在 HuggingFace 的 LLM leaderboard 上，Gemma 的 2B 和 7B 模型已經(jīng)雙雙登頂。

新的 Responsible Generative AI Toolkit 為使用 Gemma 創(chuàng)建更安全的 AI 應(yīng)用程序提供指導(dǎo)和必備工具。谷歌還通過(guò)原生 Keras 3.0 兼容所有主流框架（JAX、PyTorch 和 TensorFlow），為 Gemma 提供推理和監(jiān)督微調(diào)（SFT）的工具鏈。

在各家大廠和人工智能研究機(jī)構(gòu)探索千億級(jí)多模態(tài)大模型的同時(shí)，很多創(chuàng)業(yè)公司也正在致力于構(gòu)建體量在數(shù)十億級(jí)別的語(yǔ)言模型。而 Meta 去年推出的 Llama 系列震動(dòng)了行業(yè)，并引發(fā)了人們對(duì)于生成式 AI 開(kāi)源和閉源路線的討論。

谷歌表示，Gemma 采用了與構(gòu)建 Gemini 模型相同的研究和技術(shù)。不過(guò)，Gemma 直接打入開(kāi)源生態(tài)系統(tǒng)的出場(chǎng)方式，與 Gemini 截然不同。谷歌也并未遵守在去年定下的「不再開(kāi)放核心技術(shù)」的策略。

雖然開(kāi)發(fā)者可以在 Gemini 的基礎(chǔ)上進(jìn)行開(kāi)發(fā)，但要么通過(guò) API，要么在谷歌的 Vertex AI 平臺(tái)上進(jìn)行開(kāi)發(fā)，被認(rèn)為是一種封閉的模式。與同為閉源路線的 OpenAI 相比，未見(jiàn)優(yōu)勢(shì)。

但借助此次 Gemma 的開(kāi)源，谷歌或許能夠吸引更多的人使用自己的 AI 模型，而不是直接投奔 Meta、Mistral 這樣的競(jìng)爭(zhēng)對(duì)手。

谷歌這次沒(méi)有預(yù)告的開(kāi)源，或許是想搶在 Meta 的 Llama 3 之前一天，畢竟此前有消息稱 Llama 系列本周就要上新（讓我們期待第一時(shí)間的評(píng)測(cè)對(duì)比）。

雖然才發(fā)布幾個(gè)小時(shí)，但 X 平臺(tái)上已經(jīng)有不少用戶曬出了使用體驗(yàn)。有位用戶表示，Gemma -7B 速度很快，輸出也很穩(wěn)定，好過(guò) Llama-2 13B。

在開(kāi)源模型的同時(shí)，谷歌還公布了有關(guān) Gemma 的性能、數(shù)據(jù)集組成和建模方法的詳細(xì)信息的技術(shù)報(bào)告。在技術(shù)報(bào)告中，其他研究者發(fā)現(xiàn)了一些亮點(diǎn)，比如 Gemma 支持的詞匯表大小達(dá)到了 256K，這意味著它對(duì)英語(yǔ)之外的其他語(yǔ)言能夠更好、更快地提供支持。

以下是技術(shù)報(bào)告的細(xì)節(jié)。

Gemma 技術(shù)細(xì)節(jié)

總體來(lái)說(shuō)，Gemma 是一個(gè)輕量級(jí)的 SOTA 開(kāi)放模型系列，在語(yǔ)言理解、推理和安全方面表現(xiàn)出了強(qiáng)勁的性能。

技術(shù)報(bào)告鏈接：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

谷歌發(fā)布了兩個(gè)版本的 Gemma 模型，分別是 20 億參數(shù)和 70 億參數(shù)，并提供了預(yù)訓(xùn)練以及針對(duì)對(duì)話、指令遵循、有用性和安全性微調(diào)的 checkpoint。其中 70 億參數(shù)的模型用于 GPU 和 TPU 上的高效部署和開(kāi)發(fā)，20 億參數(shù)的模型用于 CPU 和端側(cè)應(yīng)用程序。不同的尺寸滿足不同的計(jì)算限制、應(yīng)用程序和開(kāi)發(fā)人員要求。

Gemma 在 18 個(gè)基于文本的任務(wù)中的 11 個(gè)上優(yōu)于相似參數(shù)規(guī)模的開(kāi)放模型，例如問(wèn)答、常識(shí)推理、數(shù)學(xué)和科學(xué)、編碼等任務(wù)。

下圖 1 為 Gemma（7B）與 LLaMA 2（7B）、LLaMA 2（13B）和 Mistral（7B）在問(wèn)答、推理、數(shù)學(xué)和科學(xué)、編碼等任務(wù)上的性能比較。可以看到，Gemma（7B）表現(xiàn)出了優(yōu)勢(shì)（除了在問(wèn)答任務(wù)上弱于 LLaMA 2（13B））。

接下來(lái)看 Gemma 的模型架構(gòu)、訓(xùn)練基礎(chǔ)設(shè)施、預(yù)訓(xùn)練和微調(diào)方法。

模型架構(gòu)

Gemma 模型架構(gòu)基于 Transformer 解碼器，表 1 總結(jié)了該架構(gòu)的核心參數(shù)。模型訓(xùn)練的上下文長(zhǎng)度為 8192 個(gè) token。

此外，谷歌還在原始 transformer 論文的基礎(chǔ)上進(jìn)行了改進(jìn)，改進(jìn)的部分包括：

• 多查詢注意力：7B 模型使用多頭注意力，而 2B 檢查點(diǎn)使用多查詢注意力；
• RoPE 嵌入：Gemma 在每一層中使用旋轉(zhuǎn)位置嵌入，而不是使用絕對(duì)位置嵌入；此外，Gemma 還在輸入和輸出之間共享嵌入，以減少模型大??；
• GeGLU 激活：標(biāo)準(zhǔn) ReLU 非線性被 GeGLU 激活函數(shù)取代；
• Normalizer Location：Gemma 對(duì)每個(gè) transformer 子層的輸入和輸出進(jìn)行歸一化，這與僅對(duì)其中一個(gè)或另一個(gè)進(jìn)行歸一化的標(biāo)準(zhǔn)做法有所不同，RMSNorm 作為歸一化層。

訓(xùn)練基礎(chǔ)設(shè)施

谷歌使用了自研 AI 芯片 TPUv5e 來(lái)訓(xùn)練 Gemma 模型：TPUv5e 部署在由 256 個(gè)芯片組成的 pod 中，配置成由 16 x 16 個(gè)芯片組成的二維環(huán)形。

對(duì)于 7B 模型，谷歌在 16 個(gè) pod（共計(jì) 4096 個(gè) TPUv5e）上訓(xùn)練模型。他們通過(guò) 2 個(gè) pod 對(duì) 2B 模型進(jìn)行預(yù)訓(xùn)練，總計(jì) 512 TPUv5e。在一個(gè) pod 中，谷歌對(duì) 7B 模型使用 16 路模型分片和 16 路數(shù)據(jù)復(fù)制。對(duì)于 2B 模型，只需使用 256 路數(shù)據(jù)復(fù)制。優(yōu)化器狀態(tài)使用類(lèi)似 ZeRO-3 的技術(shù)進(jìn)一步分片。在 pod 之外，谷歌使用了 Pathways 方法通過(guò)數(shù)據(jù)中心網(wǎng)絡(luò)執(zhí)行數(shù)據(jù)復(fù)制還原。

預(yù)訓(xùn)練

Gemma 2B 和 7B 分別在來(lái)自網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼的 2T 和 6T 主要英語(yǔ)數(shù)據(jù)上進(jìn)行訓(xùn)練。與 Gemini 不同的是，這些模型不是多模態(tài)的，也不是為了在多語(yǔ)言任務(wù)中獲得最先進(jìn)的性能而訓(xùn)練的。

為了兼容，谷歌使用了 Gemini 的 SentencePiece tokenizer 子集（Kudo 和 Richardson，2018 年）。它可以分割數(shù)字，不刪除多余的空白，并遵循（Chowdhery 等人，2022 年）和（Gemini 團(tuán)隊(duì)，2023 年）所使用的技術(shù)，對(duì)未知 token 進(jìn)行字節(jié)級(jí)編碼。詞匯量為 256k 個(gè) token。

指令調(diào)優(yōu)

谷歌通過(guò)在僅文本、僅英語(yǔ)合成和人類(lèi)生成的 prompt 響應(yīng)對(duì)的混合數(shù)據(jù)上進(jìn)行監(jiān)督微調(diào)（SFT），以及利用在僅英語(yǔ)標(biāo)記的偏好數(shù)據(jù)和基于一系列高質(zhì)量 prompt 的策略上訓(xùn)練的獎(jiǎng)勵(lì)模型進(jìn)行人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF），對(duì) Gemma 2B 和 Gemma 7B 模型進(jìn)行微調(diào)。

實(shí)驗(yàn)發(fā)現(xiàn)，監(jiān)督微調(diào)和 RLHF 這兩個(gè)階段對(duì)于提高下游自動(dòng)評(píng)估和模型輸出的人類(lèi)偏好評(píng)估性能都非常重要。

監(jiān)督微調(diào)

谷歌根據(jù)基于 LM 的并行評(píng)估結(jié)果來(lái)選擇自己的混合數(shù)據(jù)，以進(jìn)行監(jiān)督微調(diào)。給定一組留出的（heldout） prompt， 谷歌從測(cè)試模型中生成響應(yīng)，并從基線模型中生成相同 prompt 的響應(yīng)，并要求規(guī)模更大的高性能模型來(lái)表達(dá)這兩個(gè)響應(yīng)之間的偏好。

谷歌還構(gòu)建不同的 prompt 集來(lái)突出特定的能力，例如指令遵循、真實(shí)性、創(chuàng)造性和安全性等。谷歌使用了不同的自動(dòng)化 LM「judges」，它們采用了多種技術(shù)，比如思維鏈提示（chain-of-thought prompting）、對(duì)齊人類(lèi)偏好等。

格式化

指令調(diào)優(yōu)模型使用特定的格式化器進(jìn)行訓(xùn)練， 該格式化器在訓(xùn)練和推理時(shí)使用額外的信息來(lái)標(biāo)注所有指令調(diào)優(yōu)示例。這樣做有以下兩個(gè)目的，1）指示對(duì)話中的角色，比如用戶角色；2）描述對(duì)話輪次，尤其是在多輪對(duì)話中。為了實(shí)現(xiàn)這兩個(gè)目的，谷歌在分詞器（tokenizer）中保留了特殊的控制 token。

下表 3 為相關(guān)格式化控制 token，表 4 為對(duì)話示例。

人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）

谷歌使用 RLHF 對(duì)監(jiān)督微調(diào)模型進(jìn)一步微調(diào)，不僅從人類(lèi)評(píng)分者那里收集了偏好對(duì)，還在 Bradley-Terry 模型下訓(xùn)練了獎(jiǎng)勵(lì)函數(shù)，這類(lèi)似于 Gemini。該策略經(jīng)過(guò)訓(xùn)練，使用一個(gè)具有針對(duì)初始調(diào)優(yōu)模型的 Kullback–Leibler 正則化項(xiàng)的 REINFORCE 變體，對(duì)該獎(jiǎng)勵(lì)函數(shù)進(jìn)行優(yōu)化。

與監(jiān)督微調(diào)（SFT）階段一樣，為了進(jìn)行超參數(shù)調(diào)優(yōu)，并額外減輕獎(jiǎng)勵(lì)黑客行為，谷歌依賴高容量模型作為自動(dòng)評(píng)估器，并計(jì)算與基線模型的比較結(jié)果。

評(píng)估

谷歌通過(guò)人類(lèi)偏好、自動(dòng)基準(zhǔn)和記憶等指標(biāo)，在廣泛的領(lǐng)域?qū)?Gemma 進(jìn)行了全面的評(píng)估。

人類(lèi)偏好評(píng)估

除了在經(jīng)過(guò)微調(diào)的模型上運(yùn)行標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)之外，谷歌對(duì)最終發(fā)布的候選模型進(jìn)行了人類(lèi)評(píng)估研究，以便與 Mistral v0.2 7B Instruct 模型進(jìn)行比較。

與 Mistral v0.2 7B Instruct 相比，Gemma 7B IT 的正勝率為 51.7%，Gemma 2B IT 的勝率為 41.6%。在測(cè)試基本安全協(xié)議的約 400 條 prompt 中，Gemma 7B IT 的勝率為 58%，而 Gemma 2B IT 的勝率為 56.5%。表 5 中報(bào)告了相應(yīng)的數(shù)字。

自動(dòng)基準(zhǔn)評(píng)估

谷歌還在一系列學(xué)術(shù)基準(zhǔn)上將 Gemma 2B 和 7B 模型與幾個(gè)外部開(kāi)源 LLM 進(jìn)行了比較，如表 6 所示：

在 MMLU 上，Gemma 7B 的表現(xiàn)優(yōu)于相同或較小規(guī)模的所有開(kāi)源模型，還優(yōu)于幾個(gè)較大的模型，包括 LLaMA2 13B。

然而，基準(zhǔn)作者對(duì)人類(lèi)專家表現(xiàn)的評(píng)估結(jié)果是 89.8%， Gemini Ultra 是第一個(gè)超過(guò)這一閾值的模型，可以看到Gemma仍有很大的改進(jìn)空間，以達(dá)到Gemini和人類(lèi)水平的性能。

但 Gemma 模型在數(shù)學(xué)和編碼基準(zhǔn)測(cè)試中表現(xiàn)比較突出。在數(shù)學(xué)任務(wù)上，Gemma 模型在 GSM8K 和更難的 MATH 基準(zhǔn)上的表現(xiàn)超過(guò)其他模型至少 10 分。同樣，它們?cè)?HumanEval 上的表現(xiàn)比其他開(kāi)源模型至少高出 6 分。Gemma 在 MBPP 上的表現(xiàn)甚至超過(guò)了經(jīng)過(guò)代碼微調(diào)的 CodeLLaMA-7B 模型（CodeLLaMA 得分為 41.4%，而 Gemma 7B 得分為 44.4%）。

記憶評(píng)估

谷歌使用 Anil 等人采用的方法測(cè)試 Gemma 的記憶能力，具體而言，他們從每個(gè)語(yǔ)料庫(kù)中采樣 10000 個(gè)文檔，并使用前 50 個(gè) token 作為模型的 prompt。在此過(guò)程中，谷歌主要關(guān)注精準(zhǔn)記憶，如果模型生成的后續(xù) 50 個(gè) token 與文本中的真實(shí)后續(xù)文本完全匹配，則將該文本分類(lèi)為已記憶。圖 2 將評(píng)估結(jié)果與同等規(guī)模的 PaLM 和 PaLM 2 模型進(jìn)行了比較，結(jié)果如下所示。

隱私數(shù)據(jù)

對(duì)大模型來(lái)說(shuō)，隱私數(shù)據(jù)被記住的可能性是一件非常值得關(guān)注的事情。為了使 Gemma 預(yù)訓(xùn)練模型安全可靠，谷歌使用自動(dòng)方法從訓(xùn)練集中過(guò)濾掉某些隱私信息和其他敏感數(shù)據(jù)。

為了識(shí)別可能出現(xiàn)的隱私數(shù)據(jù)，谷歌使用 Google Cloud 數(shù)據(jù)丟失防護(hù) (DLP) 工具。該工具根據(jù)隱私數(shù)據(jù)的類(lèi)別（例如姓名、電子郵件等）輸出三個(gè)嚴(yán)重級(jí)別。谷歌將最高嚴(yán)重性分類(lèi)為「敏感（sensitive）」，其余兩個(gè)分類(lèi)為「隱私（personal）」，然后測(cè)量有多少存儲(chǔ)的輸出包含敏感或個(gè)人數(shù)據(jù)。

如下圖 3 所示，谷歌沒(méi)有觀察到存儲(chǔ)敏感數(shù)據(jù)的情況，但確實(shí)發(fā)現(xiàn) Gemma 模型會(huì)記住一些上述分類(lèi)為潛在「隱私」的數(shù)據(jù)。值得注意的是，研究中使用的工具可能存在許多誤報(bào)（因?yàn)槠渲黄ヅ淠Ｊ蕉豢紤]上下文），這意味著實(shí)驗(yàn)結(jié)果可能高估了已識(shí)別的隱私數(shù)據(jù)量。

在記憶數(shù)據(jù)量方面，如下圖 4 所示，谷歌觀察到大約會(huì)多出 50% 的數(shù)據(jù)被記住，并且在數(shù)據(jù)集的每個(gè)不同子類(lèi)別中幾乎是一致的。

最后，谷歌還通過(guò)標(biāo)準(zhǔn)化 AI 安全基準(zhǔn)評(píng)估了 Gemma 的安全性，結(jié)果如下表 8 所示。

參考鏈接：

https://www.theverge.com/2024/2/21/24078610/google-gemma-gemini-small-ai-model-open-source.