偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

莆田版GPT-3開源:同等復(fù)現(xiàn)預(yù)訓(xùn)練模型GPT Neo

新聞 人工智能
近日,Eleuther AI在GitHub上推出了一個名為GPT-Neo的開源項目:GPT-3同等復(fù)現(xiàn)預(yù)訓(xùn)練模型(1.3B & 2.7B),并可在Colab上完成微調(diào)。

 [[389187]]

GPT-3開源了?Eleuther AI推出的名為GPT-Neo的開源項目:公開發(fā)布的GPT-3同等復(fù)現(xiàn)預(yù)訓(xùn)練模型(1.3B & 2.7B),可在Colab上完成微調(diào)。

……當然此 GPT-3非彼 GPT-3。

近日,Eleuther AI在GitHub上推出了一個名為GPT-Neo的開源項目:GPT-3同等復(fù)現(xiàn)預(yù)訓(xùn)練模型(1.3B & 2.7B),并可在Colab上完成微調(diào)。

雖然GPT-Neo與真正的GPT-3比,參數(shù)量仍然很?。ㄝ^大版本也只與GPT-3最小模型的參數(shù)量),但開源又免費,仍然得到了「同性好友們」的認可!

項目目前在GitHub上已經(jīng)得到了近3k的star。

莆田版GPT-3開源:同等復(fù)現(xiàn)預(yù)訓(xùn)練模型GPT Neo

Eleuther AI也表示,未來會進一步開源10B版本和原始大小版本的GPT3模型參數(shù)。

「莆田版」GPT-3

在Eleuther AI官網(wǎng)上,他們對GPT-Neo的描述是,「一系列基于變換器的語言模型的代碼名稱,這些模型的風格松散地圍繞著GPT架構(gòu),我們計劃對其進行訓(xùn)練和開源。我們的主要目標是復(fù)制一個GPT-3大小的模型,并將其免費開源給公眾?!?/p>

在這一過程中,我們將對替代架構(gòu)和注意力類型進行實驗,發(fā)布任何中間模型,并在我們的博客上寫出任何發(fā)現(xiàn)。

GPT-Neo模型是在Tensorflow-mesh中構(gòu)建的,這將使他們能夠使用同步的模型和數(shù)據(jù)并行來擴展到GPT-3和更大的規(guī)模。

莆田版GPT-3開源:同等復(fù)現(xiàn)預(yù)訓(xùn)練模型GPT Neo

據(jù)Eleuther AI稱,他們已經(jīng)建立了大部分的模型,訓(xùn)練了GPT-2大小的模型,并實施了幾個實驗性的架構(gòu)。

目前的代碼庫應(yīng)該能夠擴展到GPT-3規(guī)模的模型。

而他們接下來的步驟,將是正在努力完成GPT-2規(guī)模的模型復(fù)制。

「到目前為止,2 們得到的單步訓(xùn)練的最大模型是200B參數(shù)?!?/p>

GPT3: 一般人玩不起

6月,OpenAI發(fā)表了一篇論文,詳細介紹了GPT-3,這是一個機器學(xué)習(xí)模型,在一些自然語言基準上取得了強大的效果。在1750億個參數(shù)——模型從歷史訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的部分——它是同類模型中最大的模型之一,也是最復(fù)雜的模型之一,能夠進行原始類比,以某種風格寫作,甚至完成基本代碼。

與GPT-3的前身GPT-2和GPT-1相比,OpenAI選擇不將模型或訓(xùn)練數(shù)據(jù)集開源,而是選擇通過商業(yè)API提供前者。該公司選擇將GPT-3獨家授權(quán)給微軟,進一步縮減了訪問權(quán)限,而OpenAI與微軟有業(yè)務(wù)關(guān)系。

微軟已經(jīng)向OpenAI投資了10億美元,并建立了一臺Azure托管的超級計算機,旨在進一步推動OpenAI的研究。

[[389188]]

來看下OpenAI的定價策略。

莆田版GPT-3開源:同等復(fù)現(xiàn)預(yù)訓(xùn)練模型GPT Neo

自由探索Explore版 (我等):可以免費使用3個月,或者10萬token,哪個先到按哪個算,占著不用可不行。

Create版(普通用戶): 100美元一個月,200萬token每月,超出的部分1k token按8美分計算;

Build版(VIP): 400美元一個月,1000萬token每月,超出的部分1k token按6美分計算;

Scale版(尊享版):如果你是也就是生產(chǎn)級的大規(guī)模用戶,聯(lián)系官方就好,有專人服務(wù)。

這個200萬token,能有多少字呢?大約相當于3000頁的文本。

這樣說可能還是不直接,舉個例子,莎士比亞全集是大約有90萬個單詞,折算到token的話大概能有120萬。

莆田版GPT-3開源:同等復(fù)現(xiàn)預(yù)訓(xùn)練模型GPT Neo

貧窮使人進(fu)步(ke)。

現(xiàn)在,一些人開始在開源中重新創(chuàng)建GPT-3,但可能目前最值得期待的就是GPT-Neo了。

關(guān)于Eleuther AI

Eleuther AI是一個由研究人員組成的草根集合,致力于開源人工智能研究。

Connor Leahy,Leo Gao和Sid Black三人聯(lián)合創(chuàng)立,于去年11月宣布推出GPT-Neo的開源項目,該項目基于GPT系列的設(shè)計原理,旨在復(fù)現(xiàn)GPT系列的各種項目。

其中Sid是目前世界上最牛的TPU黑客之一。

不過,也有人也認為這伙人炒作太多!

「據(jù)我所知,他們正在大肆宣傳他們無法兌現(xiàn)的夸大其詞?!?/p>

「例如,他們在OpenAI宣布幾天后就運出了一個DALL-E repo,這是壞的,而且由于他們的架構(gòu)不能擴展,他們已經(jīng)把他們的GPT-3復(fù)制宣稱走回了復(fù)制1.5B?!?/p>

莆田版GPT-3開源:同等復(fù)現(xiàn)預(yù)訓(xùn)練模型GPT Neo

項目地址:
https://github.com/EleutherAI/gpt-neo

 

 

責任編輯:張燕妮 來源: 新智元
相關(guān)推薦

2021-07-19 10:56:36

GPE-3OpenAI微軟

2021-10-28 09:19:29

模型人工智能Facebook

2021-01-19 16:34:30

開源技術(shù) GPT-3

2022-03-24 10:35:38

人工智能模型代碼

2023-04-07 09:53:02

量子AI

2023-03-01 16:15:16

2022-05-05 09:00:00

AI模型數(shù)據(jù)

2020-09-02 10:10:37

AI 數(shù)據(jù)人工智能

2022-03-14 09:33:56

神經(jīng)網(wǎng)絡(luò)模型人工智能

2023-02-14 08:00:00

人工智能GPT-3語言模型

2023-02-20 14:06:19

GPT-3AI

2023-06-08 15:33:31

人工智能GPT-3

2021-01-28 15:16:09

程序員技能開發(fā)者

2023-06-08 11:41:40

芯片AI

2022-06-01 16:47:53

AI模型開源

2023-12-24 13:56:37

2023-06-02 13:39:00

GPT-3開源GPU

2024-10-18 11:12:44

2021-02-25 15:43:43

AI 數(shù)據(jù)人工智能

2020-08-21 13:22:12

GPT-3AI機器
點贊
收藏

51CTO技術(shù)棧公眾號