Falcon 3：阿聯(lián)酋技術(shù)創(chuàng)新研究所推出世界上最小、最強(qiáng)大的人工智能模型 原創(chuàng)
01、概述
近年來，大型語言模型（Large Language Models，LLMs）的發(fā)展成為人工智能領(lǐng)域的核心議題。而作為這一領(lǐng)域的先行者之一，位于阿布扎比的科技創(chuàng)新研究院（Technology Innovation Institute, TII）再次推出其重磅產(chǎn)品——Falcon3 系列。作為一組參數(shù)規(guī)模在10億以下的解碼器（Decoder-only）大型語言模型，F(xiàn)alcon3系列不僅在性能和訓(xùn)練效率上取得了重要突破，還彰顯了TII致力于推動開放、可訪問的基礎(chǔ)模型的決心。
02、Falcon3 系列的亮點(diǎn)與演進(jìn)
Falcon3 是對其前代模型的自然演進(jìn)，重點(diǎn)提升了模型在科學(xué)、數(shù)學(xué)和代碼領(lǐng)域的能力。這一系列包含五個基礎(chǔ)模型：
- Falcon3-1B-Base
- Falcon3-3B-Base
- Falcon3-Mamba-7B-Base
- Falcon3-7B-Base
- Falcon3-10B-Base
這些模型通過一系列創(chuàng)新技術(shù)實(shí)現(xiàn)了高效訓(xùn)練和卓越性能，以下是Falcon3在開發(fā)過程中實(shí)現(xiàn)的關(guān)鍵技術(shù)進(jìn)展：
1） 大規(guī)模預(yù)訓(xùn)練：
在開發(fā)Falcon3-7B模型時，研究團(tuán)隊(duì)使用了1024顆H100 GPU芯片，并基于14萬億個高質(zhì)量多語言數(shù)據(jù)（涵蓋Web內(nèi)容、代碼及STEM領(lǐng)域），進(jìn)行了一次大規(guī)模的預(yù)訓(xùn)練。
2） 模型深度擴(kuò)展：
通過對冗余層的復(fù)制和2萬億高質(zhì)量數(shù)據(jù)的進(jìn)一步訓(xùn)練，研究團(tuán)隊(duì)將7B模型擴(kuò)展為10B參數(shù)的Falcon3-10B-Base，成功提升了零樣本（Zero-shot）和少樣本（Few-shot）任務(wù)性能。
3） 知識蒸餾技術(shù)：
為開發(fā)更加緊湊高效的小模型（如Falcon3-1B和Falcon3-3B），團(tuán)隊(duì)采用了剪枝和知識蒸餾技術(shù)，利用不到100GB的精選數(shù)據(jù)完成預(yù)訓(xùn)練，顯著提升了效率。
4） 強(qiáng)化數(shù)學(xué)推理能力：
Falcon Mamba 7B模型通過額外訓(xùn)練1.5萬億高質(zhì)量數(shù)據(jù)，形成了Falcon3-Mamba-7B-Base版本，大幅提升了推理和數(shù)學(xué)任務(wù)的表現(xiàn)。
5） 豐富的模型變體：
所有Falcon3基礎(chǔ)模型均提供多種變體，包括 Instruct、GGUF、GPTQ-Int4、GPTQ-Int8 等，滿足多樣化的應(yīng)用需求。
03、性能與評估：Falcon3如何脫穎而出？
Falcon3 系列在常見基準(zhǔn)測試中展現(xiàn)了超強(qiáng)實(shí)力，特別是在小型和中型模型領(lǐng)域中，其性能備受矚目。
1） 小模型的驚人表現(xiàn)：
Falcon3-1B-Base：在對比中超越了SmolLM2-1.7B，并與gemma-2-2B的表現(xiàn)相當(dāng)。
Falcon3-3B-Base：在性能上優(yōu)于規(guī)模更大的Llama-3.1-8B和Minitron-4B-Base，充分體現(xiàn)了知識蒸餾的訓(xùn)練優(yōu)勢。
2） 中型模型的卓越性能：
Falcon3-7B-Base：與Qwen2.5-7B在7B規(guī)模模型中旗鼓相當(dāng)，在數(shù)學(xué)和推理任務(wù)中表現(xiàn)尤為突出。
Falcon3-10B-Base：作為13B以下規(guī)模模型中的佼佼者，在多項(xiàng)基準(zhǔn)測試中取得領(lǐng)先。
3） Mamba模型的優(yōu)異表現(xiàn)：
Falcon3-Mamba-7B在State Space Language Model（SSLM）領(lǐng)域繼續(xù)引領(lǐng)潮流，支持最長32K的上下文長度，同時保持卓越性能，適合用戶無縫集成。
04、擴(kuò)展能力：科學(xué)、數(shù)學(xué)與編程的多領(lǐng)域突破
Falcon3的研發(fā)重點(diǎn)在于提升科學(xué)、數(shù)學(xué)和編程領(lǐng)域的能力，以下是一些關(guān)鍵評估數(shù)據(jù)：
1） 數(shù)學(xué)能力
Falcon3-10B-Base 在復(fù)雜數(shù)學(xué)任務(wù)中得分：MATH-Lvl5 22.9，GSM8K 83.0，表現(xiàn)極為亮眼。
2） 編程能力
在編程相關(guān)任務(wù)中，F(xiàn)alcon3-10B-Base 在 MBPP 上獲得 73.8 的高分，而其 Instruct 版本在 Multipl-E 上得分 45.8，展現(xiàn)了強(qiáng)大的代碼通用化能力。
3） 推理能力
Falcon3-7B 和 Falcon3-10B 在 BBH 測試中分別得分 51.0 和 59.7，證明其在復(fù)雜推理任務(wù)上的優(yōu)勢。
4） 科學(xué)知識擴(kuò)展
MMLU 基準(zhǔn)測試結(jié)果顯示：Falcon3-7B-Base 和 Falcon3-10B-Base 分別在 MMLU 和 MMLU-PRO 中得分 67.4/39.2 和 73.1/42.5，反映了其在專業(yè)知識領(lǐng)域的強(qiáng)大能力。
05、技術(shù)細(xì)節(jié)與創(chuàng)新架構(gòu)
模型架構(gòu)優(yōu)化：
Falcon3 系列基于解碼器（Decoder-only）結(jié)構(gòu)，18到40層的Transformer深度，以及SwiGLU激活函數(shù)使其在FlashAttention-3優(yōu)化下?lián)碛懈咝У耐评砟芰Α?/p>
Falcon3-7B-Base采用了最大量的數(shù)據(jù)訓(xùn)練，覆蓋了廣泛的概念和知識，為通用任務(wù)提供了出色的表現(xiàn)。
Falcon3-Mamba-7B 特有64層架構(gòu)，專為數(shù)學(xué)和科學(xué)任務(wù)優(yōu)化。
上下文長度擴(kuò)展：
除1B模型支持8K上下文外，其他模型均支持長達(dá)32K的上下文，使其在大規(guī)模文本處理任務(wù)中表現(xiàn)優(yōu)越。
Falcon3 的開放承諾
TII一貫致力于推動AI的開放與合作，F(xiàn)alcon3 系列模型也不例外。所有模型均采用 Falcon LLM許可證 開源，鼓勵全球AI社區(qū)進(jìn)行研究、應(yīng)用開發(fā)和實(shí)驗(yàn)。更重要的是，F(xiàn)alcon3不僅是這一系列的高光時刻，更是其持續(xù)創(chuàng)新之路的延續(xù)。
值得期待的是，2025年1月，TII將發(fā)布支持圖像、視頻及音頻的多模態(tài)增強(qiáng)版本，同時公布詳細(xì)的技術(shù)報(bào)告，為AI領(lǐng)域貢獻(xiàn)更多智慧。
06、結(jié)語
Falcon3系列的推出標(biāo)志著AI技術(shù)的一次重要跨越。通過其在性能、效率和靈活性上的全面提升，F(xiàn)alcon3 不僅為開發(fā)者和研究人員提供了強(qiáng)大的工具，更開啟了一個更開放、更高效的AI未來。
參考：
本文轉(zhuǎn)載自公眾號Halo咯咯 作者：基咯咯
原文鏈接：??https://mp.weixin.qq.com/s/Q0ndlsdetJmwAiZmX0PW1Q??
