偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

英偉達(dá)和微軟發(fā)布新的小語言模型

人工智能
英偉達(dá)近日發(fā)布了一款輕量級(jí)語言模型Mistral-NeMo-Minitron 8B,該模型在一系列任務(wù)中的表現(xiàn)均優(yōu)于同等規(guī)模的神經(jīng)網(wǎng)絡(luò)。

英偉達(dá)近日發(fā)布了一款輕量級(jí)語言模型Mistral-NeMo-Minitron 8B,該模型在一系列任務(wù)中的表現(xiàn)均優(yōu)于同等規(guī)模的神經(jīng)網(wǎng)絡(luò)。

該模型的代碼以開源許可的形式發(fā)布在Hugging Face網(wǎng)站上。該模型發(fā)布的前一天,微軟剛剛推出了幾個(gè)自己的開源語言模型。與英偉達(dá)的新算法一樣,這些新模型也是為了在處理能力有限的設(shè)備上運(yùn)行而設(shè)計(jì)的。

Mistral-NeMo-Minitron 8B是英偉達(dá)上個(gè)月推出的Mistral NeMo 12B語言模型的縮小版。后者是與Mistral AI SAS合作開發(fā)的算法,Mistral AI SAS是一家人工智能初創(chuàng)公司,已經(jīng)募集了大量的資金。英偉達(dá)利用了兩種名為“剪枝”和“提煉”的機(jī)器學(xué)習(xí)技術(shù)創(chuàng)建了Mistral-NeMo-Minitron 8B。

“剪枝”是一種通過刪除代碼庫中不必要的組件來降低模型硬件要求的方法。神經(jīng)網(wǎng)絡(luò)由無數(shù)個(gè)人工神經(jīng)元組成,每個(gè)人工神經(jīng)元的代碼片段都能執(zhí)行一組相對(duì)簡(jiǎn)單的計(jì)算。其中一些代碼片段在處理用戶請(qǐng)求時(shí)發(fā)揮的作用不如其他代碼片段活躍,這意味著可以在不顯著降低人工智能輸出質(zhì)量的情況下刪除這些代碼片段。

在對(duì) Mistral NeMo 12B進(jìn)行“剪枝”后,英偉達(dá)進(jìn)入了該項(xiàng)目的所謂“提煉”階段?!疤釤挕笔枪こ處煂⑷斯ぶ悄苤R(shí)轉(zhuǎn)移到另一個(gè)硬件效率更高的神經(jīng)網(wǎng)絡(luò)的過程。在這種情況下,第二個(gè)模型就是今天亮相的Mistral-NeMo-Minitron 8B,它比原來的模型少了40億個(gè)參數(shù)。

開發(fā)人員還可以通過從頭開始訓(xùn)練一個(gè)全新的模型來降低人工智能項(xiàng)目的硬件要求。與這種方法相比,“提煉”有幾個(gè)優(yōu)勢(shì),尤其是能提高人工智能的輸出質(zhì)量。將大型模型“提煉”為小型模型的成本也更低,因?yàn)檫@項(xiàng)任務(wù)不需要那么多訓(xùn)練數(shù)據(jù)。

英偉達(dá)表示,在開發(fā)過程中結(jié)合使用“剪枝”和“提煉”技術(shù)顯著提高了Mistral-NeMo-Minitron 8B 的效率。英偉達(dá)的高管Kari Briski在一篇博文中介紹說,“其體積小到足以在配備了Nvidia RTX的工作站上運(yùn)行,同時(shí)在人工智能支持的聊天機(jī)器人、虛擬助手、內(nèi)容生成器和教育工具的多個(gè)基準(zhǔn)測(cè)試中依然表現(xiàn)出色?!?/p>

Mistral-NeMo-Minitron 8B發(fā)布的前一天,微軟剛剛開源了自己的三個(gè)語言模型。與英偉達(dá)的新算法一樣,它們的開發(fā)也考慮到了硬件效率。

這些模型中最緊湊的名為Phi-3.5-mini-instruct。它擁有38億個(gè)參數(shù),可以處理多達(dá) 128,000個(gè)標(biāo)記的數(shù)據(jù)提示,這使它能夠攝取冗長(zhǎng)的商業(yè)文檔。微軟進(jìn)行的一項(xiàng)基準(zhǔn)測(cè)試表明,Phi-3.5-mini-instruct在執(zhí)行某些任務(wù)時(shí)比Llama 3.1 8B和Mistral 7B更出色,而后兩者的參數(shù)數(shù)量大約是前者的兩倍。

本周二,微軟還開源了另外兩個(gè)語言模型。第一個(gè)是Phi-3.5-vision-instruct,它是Phi-3.5-mini-instruct的一個(gè)版本,可以執(zhí)行圖像分析任務(wù),比如解釋用戶上傳的圖表。它與Phi-3.5-MoE-instruct同時(shí)推出,后者是一個(gè)更大的模型,擁有608億個(gè)參數(shù)。當(dāng)用戶輸入提示時(shí),只有十分之一的參數(shù)會(huì)激活,這大大減少了推理所需的硬件數(shù)量。

責(zé)任編輯:龐桂玉 來源: 至頂網(wǎng)
相關(guān)推薦

2025-08-19 09:10:00

AI模型智能體

2023-10-31 19:20:29

語言模型英偉達(dá)芯片

2025-09-26 08:03:41

2021-10-12 15:03:18

模型人工智能深度學(xué)習(xí)

2024-02-29 16:35:01

StarCoder2大型語言模型人工智能

2024-11-25 08:54:41

2024-05-22 10:44:47

2023-11-29 10:15:12

AI芯片亞馬遜英偉達(dá)

2023-10-08 13:56:00

英偉達(dá)芯片AI

2023-11-01 13:47:44

2023-05-17 10:05:56

2025-08-27 09:00:00

英偉達(dá)開源模型

2025-04-23 15:25:27

語言模型Eagle 2.5英偉達(dá)

2025-07-01 01:00:00

GenAIAI人工智能

2016-09-20 10:22:58

京東智能GPU技術(shù)

2023-11-16 15:18:12

2015-08-07 09:34:44

AMDLinux

2022-09-21 18:41:15

英偉達(dá)顯卡

2024-12-04 10:59:26

2011-06-05 11:17:44

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)