Mistral 開源代碼模型奪得王座！Codestral瘋狂訓(xùn)練超80種語(yǔ)言，國(guó)內(nèi)通義開發(fā)者請(qǐng)求出戰(zhàn)！
原創(chuàng) 精選出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
Mistral 發(fā)布了首個(gè)代碼模型 Codestral-22B！
該模型的瘋狂之處不僅在于訓(xùn)練了80多種編程語(yǔ)言，包括許多代碼模型忽略的Swift等。
還在于他非同一般的速度。要求用Go語(yǔ)言編寫一個(gè)“發(fā)布/訂閱”系統(tǒng)。這邊的GPT-4o還在輸出，Codestral已經(jīng)用快到看不清的速度交卷了！
由于該模型剛剛推出，尚未公開測(cè)試。但根據(jù)Mistral的負(fù)責(zé)人說(shuō)法， Codestral是目前表現(xiàn)最佳的開源代碼模型。
圖片
感興趣的朋友可以移步：
-抱抱臉 ：https://huggingface.co/mistralai/Codestral-22B-v0.1
-博客：https://mistral.ai/news/codestral/
從博客來(lái)看，Codestral在長(zhǎng)文本以及多種編程語(yǔ)言的性能測(cè)試中都超過(guò)了對(duì)手，包括70B的CodeLlama、33B的Deepseek Coder和70B的Llama 3 70B。
圖片
下面來(lái)一起細(xì)致地看看代碼模型的“王”，Codestral強(qiáng)在何處。
1.Codestral要為代碼模型立標(biāo)準(zhǔn)
作為 22B 機(jī)型，Codestral 為代碼生成的性能/延遲空間設(shè)定了一個(gè)新標(biāo)準(zhǔn)。在核心上，Codestral 22B具有32K的上下文長(zhǎng)度，為開發(fā)人員提供了在各種編程環(huán)境和項(xiàng)目中編寫和與代碼交互的能力。
圖片
上圖：Codestral 擁有 32k 的較大上下文窗口（不同于競(jìng)爭(zhēng)對(duì)手的 4k、8k 或 16k），在代碼生成的遠(yuǎn)程評(píng)估 RepoBench 中優(yōu)于所有其他模型。
Codestral近乎瘋狂地在超過(guò)80種編程語(yǔ)言的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，這使其適合于各種編程任務(wù)，包括從頭開始生成代碼、完成編碼功能、編寫測(cè)試和使用中間填充機(jī)制完成任何部分代碼。
它涵蓋的編程語(yǔ)言包括流行的SQL、Python、Java、C和C++，以及更特定的Swift和Fortran等，成為編程界的多面手。
Mistral表示，Codestral可以幫助開發(fā)人員提升他們的編碼水平，加速工作流程，并在構(gòu)建應(yīng)用程序時(shí)節(jié)省大量的時(shí)間和努力。更不用說(shuō)，它還可以幫助減少錯(cuò)誤和漏洞的風(fēng)險(xiǎn)。
上圖：Codestral性能在不同編程語(yǔ)言上的HumanEval評(píng)估
在HumanEval上評(píng)估Python代碼生成和CruxEval測(cè)試Python輸出預(yù)測(cè)時(shí)，該模型分別以81.1%和51.3%的分?jǐn)?shù)超越了競(jìng)爭(zhēng)對(duì)手。它甚至在Bash、Java和PHP的HumanEval上也都取得了第一名。
值得注意的是，該模型在C++、C和Typescript的HumanEval上的表現(xiàn)并不是最好的，但所有測(cè)試的平均分?jǐn)?shù)最高，為61.5%，略高于Llama 3 70B的61.2%。在評(píng)估SQL性能的Spider評(píng)估中，它以63.5%的分?jǐn)?shù)排名第二。
一些流行的開發(fā)人員生產(chǎn)力和人工智能應(yīng)用開發(fā)工具已經(jīng)開始測(cè)試Codestral。這包括LlamaIndex、LangChain、Continue.dev、Tabnine和JetBrains等大名鼎鼎的名字。
“從我們的初步測(cè)試來(lái)看，它是一個(gè)生成代碼工作流的好選擇，因?yàn)樗焖?，有有利的上下文窗口，并且指?dǎo)版本支持工具使用。我們使用LangGraph進(jìn)行了自我糾正代碼生成的測(cè)試，使用指導(dǎo)Codestral工具使用進(jìn)行輸出，并且它開箱即用效果非常好，”LangChain的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Harrison Chase說(shuō)。
另外，Codestral已經(jīng)與JetBrains、SourceGraph和LlamaIndex在內(nèi)的幾家行業(yè)伙伴展開合作。LlamaIndex的CEO Jerry Liu提到他對(duì)Codestral的測(cè)試說(shuō)，“到目前為止，它始終能生成高度準(zhǔn)確和實(shí)用的代碼，即使是復(fù)雜的任務(wù)也不例外。例如，當(dāng)我要求它完成一個(gè)創(chuàng)建新的 LlamaIndex 查詢引擎的非繁瑣函數(shù)時(shí)，它生成的代碼盡管基于較舊的代碼庫(kù)，卻能無(wú)縫運(yùn)行?！?/p>
2.如何開始使用Codestral？
Mistral在Hugging Face上提供Codestral 22B，在其自己的非商業(yè)許可下，允許開發(fā)人員將該技術(shù)用于非商業(yè)目的、測(cè)試和支持研究工作。
該公司還通過(guò)兩個(gè)API端點(diǎn)提供該模型：codestral.mistral.ai和api.mistral.ai。
前者旨在為希望在IDE內(nèi)部使用Codestral的指導(dǎo)或中間填充路線的用戶設(shè)計(jì)。它配有個(gè)人級(jí)別的API密鑰，沒(méi)有通常的組織速率限制，在八周的測(cè)試期間免費(fèi)使用。而api.mistral.ai是更廣泛的研究、批量查詢或第三方應(yīng)用開發(fā)的常規(guī)端點(diǎn)，將每個(gè)Token的查詢計(jì)費(fèi)。
比較有趣的是，Mistral在 Le Chat 上公開了 Codestral 的指導(dǎo)版本，允許通過(guò)他們免費(fèi)的對(duì)話界面 Le Chat 訪問(wèn)Codestral。開發(fā)人員可以自然、直觀地與 Codestral 互動(dòng)，充分利用該模型的功能。
3.寫在最后
國(guó)產(chǎn)大模型中同樣有表現(xiàn)驚艷的代碼模型，例如阿里不久前開源的70億參數(shù)大模型CodeQwen1.5-7B。
在HumanEval測(cè)試中，CodeQwen1.5-7B-Chat版本的得分甚至超過(guò)了GPT-4早期版本，比GPT-4-Turbo（2023年11月版本）略低。
圖片
CodeQwen的開發(fā)者Binyuan Hui在祝賀時(shí)不忘提醒Mistral的聯(lián)創(chuàng)Guillaume Lample，帶上通義一起測(cè)評(píng)下！
圖片
估計(jì)我們很快就能看到CodeQwen1.5-7B與Codestral在競(jìng)技場(chǎng)上一決高下了。
