偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

國產(chǎn)開源MoE指標炸裂:GPT-4級別能力,API價格僅百分之一

人工智能
API更是是骨折價:每百萬tokens輸入1元、輸出2元(32K上下文)。價格僅為GPT-4-Turbo的近百分之一。

最新國產(chǎn)開源MoE大模型,剛剛亮相就火了。

DeepSeek-V2性能達GPT-4級別,但開源、可免費商用、API價格僅為GPT-4-Turbo的百分之一。

因此一經(jīng)發(fā)布,立馬引發(fā)不小討論。

圖片圖片

從公布的性能指標來看,DeepSeek-V2的中文綜合能力超越一眾開源模型,并和GPT-4-Turbo、文心4.0等閉源模型同處第一梯隊。

英文綜合能力也和LLaMA3-70B同處第一梯隊,并且超過了同是MoE的Mixtral 8x22B。

在知識、數(shù)學、推理、編程等方面也表現(xiàn)出不錯性能。并支持128K上下文。

圖片圖片

這些能力,普通用戶都能直接免費使用?,F(xiàn)在內(nèi)測已開啟,注冊后立馬就能體驗。

圖片圖片

API更是是骨折價:每百萬tokens輸入1元、輸出2元(32K上下文)。價格僅為GPT-4-Turbo的近百分之一。

同時在模型架構(gòu)也進行創(chuàng)新,采用了自研的MLA(Multi-head Latent Attention)和Sparse結(jié)構(gòu),可大幅減少模型計算量、推理顯存。

網(wǎng)友感嘆:DeepSeek總是給人帶來驚喜!

圖片圖片

具體效果如何,我們已搶先體驗!

實測一下

目前V2內(nèi)測版可以體驗通用對話和代碼助手。

圖片圖片

在通用對話中可以測試大模型的邏輯、知識、生成、數(shù)學等能力。

比如可以要求它模仿《甄嬛傳》的文風寫口紅種草文案。

圖片圖片

還可以通俗解釋什么是量子糾纏。

圖片圖片

數(shù)學方面,能回答高數(shù)微積分問題,比如:

使用微積分證明自然對數(shù)的底e 的無窮級數(shù)表示。

圖片圖片

也能規(guī)避掉一些語言邏輯陷阱。

圖片圖片

測試顯示,DeepSeek-V2的知識內(nèi)容更新到2023年。

圖片圖片

代碼方面,內(nèi)測頁面顯示是使用DeepSeek-Coder-33B回答問題。

在生成較簡單代碼上,實測幾次都沒有出錯。

圖片圖片

也能針對給出的代碼做出解釋和分析。

圖片圖片

圖片圖片

不過測試中也有回答錯誤的情況。

如下邏輯題目,DeepSeek-V2在計算過程中,錯誤將一支蠟燭從兩端同時點燃、燃燒完的時間,計算成了從一端點燃燒完的四分之一。

圖片圖片

帶來哪些升級?

據(jù)官方介紹,DeepSeek-V2以236B總參數(shù)、21B激活,大致達到70B~110B Dense的模型能力。

圖片圖片

和此前的DeepSeek 67B相比,它的性能更強,同時訓練成本更低,可節(jié)省42.5%訓練成本,減少93.3%的KV緩存,最大吞吐量提高到5.76倍。

官方表示這意味著DeepSeek-V2消耗的顯存(KV Cache)只有同級別Dense模型的1/5~1/100,每token成本大幅降低。

專門針對H800規(guī)格做了大量通訊優(yōu)化,實際部署在8卡H800機器上,輸入吞吐量超過每秒10萬tokens,輸出超過每秒5萬tokens。

圖片圖片

在一些基礎(chǔ)Benchmark上,DeepSeek-V2基礎(chǔ)模型表現(xiàn)如下:

圖片圖片

DeepSeek-V2 采用了創(chuàng)新的架構(gòu)。

提出MLA(Multi-head Latent Attention)架構(gòu),大幅減少計算量和推理顯存。

同時自研了Sparse結(jié)構(gòu),使其計算量進一步降低。

圖片圖片

有人就表示,這些升級對于數(shù)據(jù)中心大型計算可能非常有幫助。

圖片圖片

而且在API定價上,DeepSeek-V2幾乎低于市面上所有明星大模型。

圖片圖片

團隊表示,DeepSeek-V2模型和論文也將完全開源。模型權(quán)重、技術(shù)報告都給出。

現(xiàn)在登錄DeepSeek API開放平臺,注冊即贈送1000萬輸入/500萬輸出Tokens。普通試玩則完全免費。

責任編輯:武曉燕 來源: 量子位
相關(guān)推薦

2024-05-07 11:42:54

MoE模型GPT-4

2011-10-09 14:37:43

iOS游戲開發(fā)者App Store

2023-01-01 13:41:18

量子開發(fā)

2022-06-27 14:12:22

CIOIT領(lǐng)導者項目管理

2021-05-20 07:58:02

Appium環(huán)境搭建Windows10

2024-11-07 13:07:47

2010-10-28 13:27:19

2022-09-09 08:32:14

SQLMySQL數(shù)據(jù)庫

2010-08-11 15:38:44

Linux市場

2023-06-27 06:49:19

2024-12-27 09:15:00

2018-09-30 08:22:53

子彈短信支付寶羅永浩

2013-05-02 16:18:43

2023-04-11 14:13:23

阿里AI

2022-02-10 16:25:11

css面試題選擇器權(quán)重

2021-03-24 15:06:55

SQL數(shù)據(jù)庫MySQL

2023-11-07 08:38:08

SQLOracleMySQL

2022-08-29 11:00:32

區(qū)塊鏈加密貨幣

2010-09-14 11:15:10

馬云

2024-12-25 13:50:00

訓練數(shù)據(jù)AI
點贊
收藏

51CTO技術(shù)棧公眾號