撰文、整理 | 伊風
出品 | 51CTO技術棧（微信號：blog51cto）
這周，“小模型”之戰(zhàn)打得可謂精彩非凡，讓人目不暇接。前腳，小扎剛在采訪中自豪地宣布Llama3 80億模型幾乎與此前Llama2 700億模型的性能差不多！
緊接著，微軟祭出的“Phi-3-Mini”以3.8B的小體積，跑出Mixtral 8x7B和GPT-3.5等大模型才有的成績，似乎在用實力證明，在小模型這件事上，微軟才是真正的領先者。讓人直呼離譜！
下圖能看到Phi-3-Mini并非夸張！通過學術基準和內部測試來看，Phi-3-Mini在MMLU上達到了69（高于Mixtral 8x7B的68.4），在MT-bench上達到了8.38（高于GPT的8.35 ）。
圖片
這下Phi-3-Mini是一個名副其實的小體積，大性能的模型了。研究人員直接用iPhone進行了測試。
結果：Phi-3-Mini可以在手機上完全離線地本地運行，該模型的小體積使其可以量化到4位，占用僅約1.8GB的內存（比微信小得多）。Phi-3-Mini在iPhone 14上使用A16 Bionic芯片進行了原生部署，完全離線運行，每秒可以生成超過12個token。
今早，Phi-3-Mini已經(jīng)進行開源，感興趣的朋友可以移步地址：
https://huggingface.co/microsoft/Phi-3-mini-4k-instruct
Phi-3-Mini好到不像真的。X上知名科技博主說，看完Phi-3-Mini，她毫不懷疑今年年底有超越GPT-4的7B模型會誕生！
圖片
1.Phi-3-Mini的獨門心法：更好的數(shù)據(jù)集
模型到底是怎么做到“又小又好的”？Phi-3-Mini的技術報告中寫著“創(chuàng)新完全在于我們的訓練數(shù)據(jù)集”。
Phi-3-Mini模型的訓練重點放在了數(shù)據(jù)的質量上，而不是單純的數(shù)據(jù)量或規(guī)模。他們使用了用于Phi-2的訓練數(shù)據(jù)集的擴展版本，由經(jīng)過嚴格過濾的網(wǎng)絡數(shù)據(jù)和合成數(shù)據(jù)組成，數(shù)據(jù)集共3.3萬億tokens。
這種方法偏離了傳統(tǒng)的僅僅依賴于數(shù)據(jù)量來提升模型性能的scaling laws。這意味著在訓練過程中，更加關注于使用高質量、精心篩選和優(yōu)化的數(shù)據(jù)，提高模型的性能和效率。
Phi-3-Mini的預訓練分“兩步走”。
第一階段：主要使用網(wǎng)絡數(shù)據(jù)，目的是教授模型通用知識和語言理解能力。這些數(shù)據(jù)是從開放的互聯(lián)網(wǎng)源中獲取的，并且是根據(jù)“教育水平”進行重度過濾的，以確保數(shù)據(jù)的相關性和準確性。
第二階段：在該階段中，預訓練過程進一步合并了更加嚴格過濾的網(wǎng)絡數(shù)據(jù)（這些數(shù)據(jù)是第一階段中使用的子集）和一些合成數(shù)據(jù)。合成數(shù)據(jù)是通過使用大型語言模型（LLM）生成的，目的是教授模型邏輯推理和各種專業(yè)技能。
當然小模型也有弱點。Phi-3-Mini由于其體積太小，在某些任務上受到根本性的限制。例如，它缺乏存儲大量“事實知識”的能力，導致在TriviaQA等任務上的表現(xiàn)較差。
不過Phi-3-Mini也有對策，相信朋友們也猜到了，那就是：RAG!——通過為模型增加搜索引擎，可以解決這樣的弱點，所以雖然AI能離線運行在你的手機上，還是有網(wǎng)的時候更香！
2.更大的模型的探索：7B到14B的提升不夠顯著
微軟還推出了Phi-3-Mini模型的兩個擴展版本：Phi-3-Small和Phi-3-Medium模型，它們都比Phi-3-Mini有顯著的更強能力。
Phi-3-Small擁有70億參數(shù)，使用tiktoken分詞器以改善多語言分詞。它擁有100,352的詞匯量和8K的默認上下文長度。
Phi-3-Medium，擁有140億參數(shù)，使用與Phi-3-Mini相同的分詞器和架構，但訓練了更多的tokens。
性能表現(xiàn)上，更大的體積當然提升了性能。在MMLU（Massive Multitask Language Understanding）基準測試中，Phi-3-Small和Phi-3-Medium相較于Phi-3-Mini（得分68.8%）表現(xiàn)出顯著的性能提升。
具體來說，Phi-3-Small在MMLU上得分為75.3%，而Phi-3-Medium得分為78.2%。
不過，研究人員發(fā)現(xiàn)：在從3.8B參數(shù)擴展到7B和14B參數(shù)時，某些基準測試的提升幅度有所不同，從7B到14B的提升可能沒有從3.8B到7B的提升顯著。
這個結論啟發(fā)了研究人員，訓練數(shù)據(jù)混合可能需要進一步的優(yōu)化，以達到14B參數(shù)模型的“數(shù)據(jù)最優(yōu)范圍”。
3.Good data is all you need
合成數(shù)據(jù)并不是一個新概念。隨著新的AI模型和GenAI模型的出現(xiàn)，“合成數(shù)據(jù)”這個術語獲得了新的含義。
合成數(shù)據(jù)最常見的兩個用途是性能測試和可擴展性場景。此外，許多科學場景和其他應用依賴于合成數(shù)據(jù)來探索新的可能性和運行模擬，因為合成數(shù)據(jù)可以代表超越現(xiàn)實世界數(shù)據(jù)可能代表的假設情況。
此前，人們啟用合成數(shù)據(jù)是因為開發(fā)人員沒有足夠的數(shù)據(jù)來訓練他們的模型，現(xiàn)在，經(jīng)過嚴格過濾的合成數(shù)據(jù)似乎能提升數(shù)據(jù)集質量，改變模型在數(shù)據(jù)中“大浪淘沙”的境地。
合成數(shù)據(jù)的典型好處有以下幾條：
- 優(yōu)化隱私和安全：通過使用合成數(shù)據(jù)而不是真實數(shù)據(jù)，組織可以在仍然訓練有效的AI模型的同時保護敏感的用戶信息。
- 改善數(shù)據(jù)多樣性：合成數(shù)據(jù)可以增加有限的真實數(shù)據(jù)，創(chuàng)建更全面和具有代表性的培訓集，引入更多樣化的數(shù)據(jù)進入AI訓練。
- 減少偏見：合成數(shù)據(jù)提供了引入可控偏見的可能性，這些偏見可以識別模型中的無意偏見，并通過分析算法進一步減少。
- 提高可用資源的有效利用：生成合成數(shù)據(jù)比收集、處理和存儲大量真實數(shù)據(jù)更具資源效率。
當然，這些好處都必須基于嚴格過濾的基礎之上，否則可能帶來多種風險。
4.寫在最后
模型的“瘦身”潮流呼應著大家對AI能力應用、落地的期待。人們不再滿足于如此強大的AI能力，卻止步于聊天機器人單一的對話窗口中。而手機作為日常使用頻率最高的端側電子設備，無疑是接入AI能力的絕佳入口。
如今微軟、蘋果都在緊鑼密鼓地研究能在端側運行的小模型，國內的手機廠商也紛紛將AI作為“全村最后的希望”。
周鴻祎說，不做AI能力的手機廠商會淪為諾基亞，這句話正在成為一個普遍的共識。AI手機能做的不止是通過語音交互設置一個鬧鐘，也遠不止于消除照片中闖入的行人。
一個超越GPT-4性能的小模型設想無疑讓人興奮：高性能AI模型更小一點，我們距離將智能助理裝入口袋就更近一點。
參考鏈接：
1.https://analyticsindiamag.com/microsoft-introduces-phi-3-llm-that-runs-on-the-phone/
2.https://www.nytimes.com/2024/04/06/technology/ai-data-tech-companies.html
