2萬(wàn)億訓(xùn)練數(shù)據(jù)，120億參數(shù)！開(kāi)源大模型Stable LM 2-12B
4月9日，著名大模型開(kāi)源平臺(tái)Stability.ai在官網(wǎng)開(kāi)源了，全新類(lèi)ChatGPT模型Stable LM 2 12B。
據(jù)悉，Stable LM 2 12B有120億參數(shù)，使用了英語(yǔ)、西班牙語(yǔ)、德語(yǔ)等7種語(yǔ)言2萬(wàn)億tokens的訓(xùn)練數(shù)據(jù)。一共有基礎(chǔ)模型和指令微調(diào)兩個(gè)版本，能生成文本、代碼等內(nèi)容，還能作為RAG的核心來(lái)使用。
同時(shí)，Stability.ai還對(duì)之前發(fā)布的模型Stable LM 2 1.6B進(jìn)行了更新，尤其是在硬件需求方面進(jìn)行了大幅度優(yōu)化。所以，這兩款模型非常適合小企業(yè)、個(gè)人開(kāi)發(fā)者使用。其性能也超過(guò)了Qwen1.5-14B-Chat、Mistral-7B-Instruct-v0.2等知名開(kāi)源同類(lèi)小參數(shù)模型。
12B開(kāi)源地址：??https://huggingface.co/stabilityai/stablelm-2-12b??
1.6B新版本：??https://huggingface.co/stabilityai/stablelm-2-1_6b-chat??
技術(shù)報(bào)告：??https://arxiv.org/abs/2402.17834??
在線demo：https://huggingface.co/spaces/stabilityai/stablelm-2-chat
StableLM 2架構(gòu)介紹
?
Stable LM 2 12B/1.6B皆使用的是Transformer架構(gòu)，一共24層、32個(gè)自注意力頭，并使用大量公開(kāi)且多樣化大約2萬(wàn)億tokens的數(shù)據(jù)集進(jìn)行了預(yù)訓(xùn)練。
這些數(shù)據(jù)包括Arxiv、PubMed、S2ORC、PhilPapers等學(xué)術(shù)論文數(shù)據(jù)集，以及BookCorpusOpen、PG-19、FanFics等圖書(shū)和小說(shuō)數(shù)據(jù)集。
Stability.ai還使用了來(lái)自Web的數(shù)據(jù)集，如Cultura-X、OpenWebText2、RefinedWeb等，以及來(lái)自社交媒體和法律領(lǐng)域的數(shù)據(jù)集。
此外，每個(gè)數(shù)據(jù)集都有相應(yīng)的權(quán)重，為每個(gè)數(shù)據(jù)集提供了詳細(xì)的統(tǒng)計(jì)信息，包括標(biāo)記數(shù)量、訓(xùn)練時(shí)長(zhǎng)等。還使用了一種創(chuàng)新的分詞技術(shù)，對(duì)原始分詞器進(jìn)行了擴(kuò)展，以便更好地壓縮代碼和非英文語(yǔ)言數(shù)據(jù)。
訓(xùn)練策略方面，Stability.ai使用了一種稱為“FlashAttention-2”的高效序列并行優(yōu)化技術(shù)，以4096的上下文長(zhǎng)度從頭開(kāi)始訓(xùn)練StableLM 2。同時(shí)訓(xùn)練過(guò)程中采用BFloat16混合精度，并使用標(biāo)準(zhǔn)的AdamW優(yōu)化器進(jìn)行訓(xùn)練。
模型微調(diào)階段，Stability.ai使用了監(jiān)督微調(diào)（SFT）、直接偏好優(yōu)化（DPO）和自我知識(shí)學(xué)習(xí)三種方法，對(duì)生成的文本進(jìn)行排序，然后使用排序結(jié)果來(lái)調(diào)整模型的參數(shù)，使其生成更符合人類(lèi)偏好的文本。
StableLM 2測(cè)試數(shù)據(jù)
?
Stability.ai將兩款StableLM 2 模型在ARC、HellaSwag、MMLU、TriviaQA、Winograd、GSM8K等知名測(cè)試平臺(tái)上進(jìn)行了綜合測(cè)試。
零樣本和少樣本基準(zhǔn)測(cè)試方面，StableLM 2 1.6B在綜合平均分?jǐn)?shù)上獲得45.3分,在1.6B以下模型中名列前茅,但仍低于一些更大的模型如phi-2和stablelm-3b-4e1t。
而Stable LM 2 12B的性能超過(guò)了Qwen1.5-14B-Chat、Mistral-7B-Instruct-v0.2等模型，略低于mistralai/Mixtral-8x7B-Instruct-v0.1。
多語(yǔ)言基準(zhǔn)測(cè)試：StableLM 2 1.6B在不同語(yǔ)種任務(wù)上的表現(xiàn)都很出色，在所有語(yǔ)種的綜合分?jǐn)?shù)為40.5分,在英語(yǔ)任務(wù)上得分48.7分、德語(yǔ)39.1分、西班牙語(yǔ)39.0分等。
多輪對(duì)話基準(zhǔn)測(cè)試：StableLM 2 1.6B與其他模型在MT-Bench多輪對(duì)話任務(wù)上進(jìn)行了深度對(duì)比。StableLM 2 1.6B的綜合得分與規(guī)模明顯更大的模型如Mistral-7B和MPT-30B不相上下,在某些指標(biāo)上甚至獲得了更高的分?jǐn)?shù)。
本文轉(zhuǎn)自 AIGC開(kāi)放社區(qū) ，作者：AIGC開(kāi)放社區(qū)
