偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

效果可達(dá) OpanAI 同等模型 96%,國(guó)產(chǎn)開(kāi)源 AI 語(yǔ)言模型 TigerBot 發(fā)布

人工智能
根據(jù) OpenAI InstructGPT 論文在公開(kāi) NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測(cè),TigerBot-7B 已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%。?”

6 月 8 日消息,國(guó)產(chǎn)多模態(tài)大語(yǔ)言模型 TigerBot 近日正式發(fā)布,包含 70 億參數(shù)和 1800 億參數(shù)兩個(gè)版本,目前已經(jīng)在 GitHub 開(kāi)源。

▲ 圖源 TigerBot 的 GitHub 頁(yè)面

據(jù)悉,TigerBot 帶來(lái)的創(chuàng)新主要在于:

  • 提出指令完成監(jiān)督微調(diào)的創(chuàng)新算法提升模型可學(xué)習(xí)性。
  • 運(yùn)用 ensemble 和 probabilistic modeling 的方法實(shí)現(xiàn)可控事實(shí)性和創(chuàng)造性。
  • 在并行訓(xùn)練上突破 deep-speed 等主流框架中的內(nèi)存和通信問(wèn)題。

此外,該模型還針對(duì)中文語(yǔ)言更不規(guī)則的分布,從 tokenizer 到訓(xùn)練算法上做了更適合的優(yōu)化。

研究人員陳燁在虎博科技官網(wǎng)表示:“該模型在只使用少量參數(shù)的情況下,就能快速理解人類提出了哪類問(wèn)題。根據(jù) OpenAI InstructGPT 論文在公開(kāi) NLP 數(shù)據(jù)集上的自動(dòng)評(píng)測(cè),TigerBot-7B 已達(dá)到 OpenAI 同樣大小模型的綜合表現(xiàn)的 96%。”

▲ 圖源 TigerBot 的 GitHub 頁(yè)面

據(jù)稱,其中 TigerBot-7B-base 的表現(xiàn)“優(yōu)于 OpenAI 同等可比模型” ,開(kāi)源代碼包括基本訓(xùn)練和推理代碼,雙卡推理 180B 模型的量化和推理代碼。數(shù)據(jù)包括 100G 預(yù)訓(xùn)練數(shù)據(jù),監(jiān)督微調(diào) 1G 或 100 萬(wàn)條數(shù)據(jù)。

IT之家小伙伴們可以在這里找到 GitHub 的開(kāi)源項(xiàng)目。

責(zé)任編輯:姜華 來(lái)源: IT之家
相關(guān)推薦

2023-06-07 12:28:47

開(kāi)源數(shù)據(jù)

2024-05-14 11:31:29

IBM開(kāi)源Granite AI

2023-06-09 16:51:34

Tigerbo

2023-05-17 10:05:56

2025-04-22 08:08:37

2021-03-23 15:21:00

人工智能機(jī)器學(xué)習(xí)技術(shù)

2023-06-19 16:05:22

大型語(yǔ)言模型人工智能

2024-10-30 14:50:00

系統(tǒng)語(yǔ)音模型

2023-11-03 14:37:59

AI 模型開(kāi)源

2023-06-09 16:50:21

Tigerbo

2023-05-25 16:24:13

2023-05-31 09:48:01

開(kāi)源AI

2025-02-04 12:37:51

MetaAI開(kāi)發(fā)

2023-07-14 13:49:18

OceanStor華為

2023-03-27 08:22:48

ChatGPT語(yǔ)言模型

2025-02-28 12:32:42

2024-09-29 10:56:58

2023-08-21 10:36:23

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)