01、概述

在人工智能的世界里，語言模型的發(fā)展無疑是最令人矚目的領域之一。這些模型不僅在機器翻譯、內容生成和對話式AI應用中扮演著關鍵角色，而且它們的發(fā)展速度和影響力正以前所未有的速度增長。今天，我們就來聊聊這個領域最新的突破——OLMo 2，一個由艾倫人工智能研究所（Allen Institute for AI）推出的開源語言模型家族，它們正在重新定義開源AI的邊界。

02、語言模型的挑戰(zhàn)與開源的重要性

語言模型的發(fā)展一直面臨著一個難題：專有模型的主導地位。這些模型通常因為擁有豐富的資源和優(yōu)化的訓練流程而表現(xiàn)優(yōu)于開源系統(tǒng)。它們利用龐大的數(shù)據(jù)集、計算能力和先進的專有方法，形成了一個性能差距，這個差距限制了AI技術的普及和創(chuàng)新，因為只有資金雄厚的組織才能負擔得起開發(fā)這類尖端技術。

然而，開源社區(qū)的努力不容忽視。盡管目前的開源方法在可擴展性、訓練穩(wěn)定性和模型性能方面仍需改進，但最近的進展表明，我們正在迎來一個全新的、性能上能與專有模型競爭的開源模型時代。

03、OLMo 2

艾倫人工智能研究所的研究團隊推出了OLMo 2，這是一個具有里程碑意義的開源語言模型家族。這些模型提供了7億（7B）和13億（13B）參數(shù)配置，訓練時使用了高達5萬億個token，采用了最先進的技術。通過改進訓練穩(wěn)定性、采用分階段訓練流程和整合多樣化的數(shù)據(jù)集，研究人員縮小了與專有系統(tǒng)（如Llama 3.1）的性能差距。OLMo 2在層歸一化、旋轉位置嵌入和Z-loss正則化等方面進行了改進，增強了模型的魯棒性。

訓練過程：分階段的創(chuàng)新

OLMo 2的訓練采用了分兩個階段的課程方法。在第一階段，占預訓練預算的90%，模型在包含3.9萬億個token的OLMo-Mix-1124數(shù)據(jù)集上進行訓練，這些token來自DCLM和Starcoder等高質量的數(shù)據(jù)倉庫。第二階段則涉及對Dolmino-Mix-1124數(shù)據(jù)集進行微調，這是一個精選的843億個token的數(shù)據(jù)集，包含了基于網(wǎng)絡和特定領域的內容。模型融合（model souping）等技術，通過合并檢查點來優(yōu)化性能，在實現(xiàn)7B和13B模型的最終版本中發(fā)揮了關鍵作用。

04、性能評估：OLMo 2的新基準

OLMo 2的性能在開源語言模型領域樹立了新的基準。與其前身OLMo-0424相比，OLMo 2在所有評估任務中都顯示出顯著的提升。值得注意的是，OLMo 2 7B的性能超過了Llama-3.1 8B，而OLMo 2 13B則超越了Qwen 2.5 7B，盡管它們的訓練FLOPs更少。使用Open Language Modeling Evaluation System（OLMES）進行的評估，這是一個包含20個基準的套件，證實了這些增益，并突出了在知識回憶、推理和通用語言能力方面的優(yōu)勢。

05、研究的關鍵收獲

研究的關鍵收獲包括以下幾點：

• 訓練穩(wěn)定性的改進：RMSNorm和學習率退火等技術減少了預訓練期間的損失峰值，確保了模型性能的一致性。
• 創(chuàng)新的分階段訓練：后期預訓練干預，包括數(shù)據(jù)課程調整，允許針對性地增強模型能力。
• 可操作的評估框架：OLMES的引入為模型開發(fā)提供了結構化的基準，并有效地跟蹤進展。
• 后訓練方法：監(jiān)督微調、偏好調整和可驗證獎勵的強化學習增強了模型遵循指令的能力。
• 數(shù)據(jù)集的多樣性和質量：在Dolmino-Mix-1124等數(shù)據(jù)集上進行預訓練，確保了模型能夠跨多個領域泛化。

06、結語

總之，OLMo 2的成就標志著語言模型領域的轉變。通過解決訓練穩(wěn)定性和評估透明度等挑戰(zhàn)，研究人員為開源AI樹立了新的標準。這些模型不僅縮小了與專有系統(tǒng)的差距，還展示了協(xié)作創(chuàng)新在推進人工智能方面的潛力。OLMo 2的倡議強調了開放獲取高性能AI模型的變革力量，為更公平的技術進步鋪平了道路。

在這個快速發(fā)展的領域，OLMo 2的出現(xiàn)無疑是一個振奮人心的消息。它不僅為研究人員和開發(fā)者提供了強大的工具，也為那些渴望在AI領域取得突破的創(chuàng)新者提供了新的可能性。隨著開源AI的不斷進步，我們有理由相信，未來將有更多的突破等待著我們去發(fā)現(xiàn)和實現(xiàn)。

參考：

1. ??https://huggingface.co/collections/allenai/olmo-2-674117b93ab84e98afc72edc??
2. ??https://allenai.org/blog/olmo2??

本文轉載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/_MaNqwQRl7-FKZIDdIGXTQ??