Deepseek新模型意外曝光！編程跑分一舉超越Claude 3.5 Sonnet
還沒等到官宣，Deepseek-v3竟意外曝光了？！
據(jù)Reddit網(wǎng)友爆料，v3已在API和網(wǎng)頁上發(fā)布，一些榜單跑分也新鮮出爐。
在Aider多語言編程測試排行榜中，Deepseek-v3一舉超越Claude 3.5 Sonnet，排在第1位的o1之后。
（相比Deepseek-v2.5，完成率從17.8%大幅上漲至48.4%。）
且在LiveBench測評中，它是當(dāng)前最強(qiáng)開源LLM，并在非推理模型中僅次于gemini-exp-1206，排在第二。
目前Hugging Face上已經(jīng)有了Deepseek-v3（Base）的開源權(quán)重，只不過還沒上傳模型介紹卡片。
綜合網(wǎng)上多方爆料來看，Deepseek-v3相比前代v2、v2.5有了極大提升——
與v2、v2.5配置對比
首先，Deepseek-v3基本配置如下：
- 采用685B參數(shù)的MoE架構(gòu)；
- 包含256個(gè)專家，使用sigmoid函數(shù)作為路由方式，每次選取前8個(gè)專家 (Top-k=8)；
- 支持64K上下文，默認(rèn)支持4K，最長支持8K上下文；
- 約60個(gè)tokens/s；
BTW，在Aider測評中擊敗Claude 3.5 Sonnet的還是Instruct版本（該版本目前未發(fā)布）。
為了進(jìn)一步了解Deepseek-v3的升級(jí)程度，機(jī)器學(xué)習(xí)愛好者Vaibhav (VB) Srivastav（以下簡稱瓦哥）還深入研究了配置文件，并總結(jié)出v3與v2、v2.5的關(guān)鍵區(qū)別。
與v2（今年5月6日官宣開源）比較的結(jié)果，經(jīng)AI整理成表格如下：
可以看出，v3幾乎是v2的放大版，在每一項(xiàng)參數(shù)上均有較大提升。
而且瓦哥重點(diǎn)指出了模型結(jié)構(gòu)的三個(gè)關(guān)鍵變化：
第一，在MOE結(jié)構(gòu)中，v3使用了sigmoid作為門控函數(shù)，取代了v2中的softmax函數(shù)。這允許模型在更大的專家集合上進(jìn)行選擇，而不像softmax函數(shù)傾向于將輸入分配給少數(shù)幾個(gè)專家。
第二，v3引入了一個(gè)新的Top-k選擇方法noaux_tc，它不需要輔助損失。
簡單理解，MoE模型通常需要一個(gè)輔助損失來幫助訓(xùn)練，主要用于更好地學(xué)習(xí)如何選擇Top-k個(gè)最相關(guān)的專家來處理每個(gè)輸入樣本。
而新方法能在不依賴輔助損失的情況下，直接通過主要任務(wù)的損失函數(shù)來有效地選擇Top-k個(gè)專家。這有助于簡化訓(xùn)練過程并提高訓(xùn)練效率。
對了，為便于理解，瓦哥用DeepSeek逐步解釋了這一方法。
這是一種基于群體的專家選擇算法，通過將專家劃分為不同的小組，并在每個(gè)小組內(nèi)部選擇最優(yōu)秀的k名專家。
第三，v3增加了一個(gè)新參數(shù)e_score_correction_bias，用于調(diào)整專家評分，從而在專家選擇或模型訓(xùn)練過程中獲得更好的性能。
此外，v3與v2.5（本月10日官宣開源）的比較也出爐了，后者主要支持聯(lián)網(wǎng)搜索功能，相比v2全面提升了各項(xiàng)能力。
同樣經(jīng)AI整理成表格如下：
具體而言，v3在配置上超越了v2.5，包括更多的專家數(shù)量、更大的中間層尺寸，以及每個(gè)token的專家數(shù)量。
看完上述結(jié)果，瓦哥連連表示，明年有機(jī)會(huì)一定要見見中國的開源團(tuán)隊(duì)。(doge）
網(wǎng)友實(shí)測Deepseek-v3
關(guān)于v3的實(shí)際表現(xiàn)，另一獨(dú)立開發(fā)者Simon Willison（Web開發(fā)框架Django的創(chuàng)始人之一）也在第一時(shí)間上手測試了。
比如先來個(gè)自報(bào)家門。
我是DeepSeek-V3，基于OpenAI的GPT-4架構(gòu)……
再考考圖像生成能力，生成一張鵜鶘騎自行車的SVG圖。
最終圖形be like:
對了，在另一網(wǎng)友的測試中，Deepseek-v3也回答自己來自O(shè)penAI？？
該網(wǎng)友推測，這可能是因?yàn)樵谟?xùn)練時(shí)使用了OpenAI模型的回復(fù)。
不過不管怎樣，還未正式官宣的Deepseek-v3已在LiveBench坐上最強(qiáng)開源LLM寶座，在一些網(wǎng)友心中，這比只搞期貨的OpenAI遙遙領(lǐng)先。(手動(dòng)狗頭）
