[[389187]]

GPT-3開源了？Eleuther AI推出的名為GPT-Neo的開源項目：公開發(fā)布的GPT-3同等復(fù)現(xiàn)預(yù)訓(xùn)練模型(1.3B & 2.7B)，可在Colab上完成微調(diào)。

……當然此 GPT-3非彼 GPT-3。

近日，Eleuther AI在GitHub上推出了一個名為GPT-Neo的開源項目：GPT-3同等復(fù)現(xiàn)預(yù)訓(xùn)練模型(1.3B & 2.7B)，并可在Colab上完成微調(diào)。

雖然GPT-Neo與真正的GPT-3比，參數(shù)量仍然很?。ㄝ^大版本也只與GPT-3最小模型的參數(shù)量），但開源又免費，仍然得到了「同性好友們」的認可！

項目目前在GitHub上已經(jīng)得到了近3k的star。

Eleuther AI也表示，未來會進一步開源10B版本和原始大小版本的GPT3模型參數(shù)。

「莆田版」GPT-3

在Eleuther AI官網(wǎng)上，他們對GPT-Neo的描述是，「一系列基于變換器的語言模型的代碼名稱，這些模型的風格松散地圍繞著GPT架構(gòu)，我們計劃對其進行訓(xùn)練和開源。我們的主要目標是復(fù)制一個GPT-3大小的模型，并將其免費開源給公眾?！?/p>

在這一過程中，我們將對替代架構(gòu)和注意力類型進行實驗，發(fā)布任何中間模型，并在我們的博客上寫出任何發(fā)現(xiàn)。

GPT-Neo模型是在Tensorflow-mesh中構(gòu)建的，這將使他們能夠使用同步的模型和數(shù)據(jù)并行來擴展到GPT-3和更大的規(guī)模。

據(jù)Eleuther AI稱，他們已經(jīng)建立了大部分的模型，訓(xùn)練了GPT-2大小的模型，并實施了幾個實驗性的架構(gòu)。

目前的代碼庫應(yīng)該能夠擴展到GPT-3規(guī)模的模型。

而他們接下來的步驟，將是正在努力完成GPT-2規(guī)模的模型復(fù)制。

「到目前為止，2 們得到的單步訓(xùn)練的最大模型是200B參數(shù)?！?/p>

GPT3: 一般人玩不起

6月，OpenAI發(fā)表了一篇論文，詳細介紹了GPT-3，這是一個機器學(xué)習(xí)模型，在一些自然語言基準上取得了強大的效果。在1750億個參數(shù)——模型從歷史訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的部分——它是同類模型中最大的模型之一，也是最復(fù)雜的模型之一，能夠進行原始類比，以某種風格寫作，甚至完成基本代碼。

與GPT-3的前身GPT-2和GPT-1相比，OpenAI選擇不將模型或訓(xùn)練數(shù)據(jù)集開源，而是選擇通過商業(yè)API提供前者。該公司選擇將GPT-3獨家授權(quán)給微軟，進一步縮減了訪問權(quán)限，而OpenAI與微軟有業(yè)務(wù)關(guān)系。

微軟已經(jīng)向OpenAI投資了10億美元，并建立了一臺Azure托管的超級計算機，旨在進一步推動OpenAI的研究。

來看下OpenAI的定價策略。

自由探索Explore版 （我等）:可以免費使用3個月，或者10萬token，哪個先到按哪個算，占著不用可不行。

Create版（普通用戶）: 100美元一個月，200萬token每月，超出的部分1k token按8美分計算；

Build版（VIP）: 400美元一個月，1000萬token每月，超出的部分1k token按6美分計算；

Scale版（尊享版）：如果你是也就是生產(chǎn)級的大規(guī)模用戶，聯(lián)系官方就好，有專人服務(wù)。

這個200萬token，能有多少字呢？大約相當于3000頁的文本。

這樣說可能還是不直接，舉個例子，莎士比亞全集是大約有90萬個單詞，折算到token的話大概能有120萬。

貧窮使人進（fu）步（ke）。

現(xiàn)在，一些人開始在開源中重新創(chuàng)建GPT-3，但可能目前最值得期待的就是GPT-Neo了。

關(guān)于Eleuther AI

Eleuther AI是一個由研究人員組成的草根集合，致力于開源人工智能研究。

Connor Leahy，Leo Gao和Sid Black三人聯(lián)合創(chuàng)立，于去年11月宣布推出GPT-Neo的開源項目，該項目基于GPT系列的設(shè)計原理，旨在復(fù)現(xiàn)GPT系列的各種項目。

其中Sid是目前世界上最牛的TPU黑客之一。

不過，也有人也認為這伙人炒作太多！

「據(jù)我所知，他們正在大肆宣傳他們無法兌現(xiàn)的夸大其詞?！?/p>

「例如，他們在OpenAI宣布幾天后就運出了一個DALL-E repo，這是壞的，而且由于他們的架構(gòu)不能擴展，他們已經(jīng)把他們的GPT-3復(fù)制宣稱走回了復(fù)制1.5B?！?/p>

項目地址：
https://github.com/EleutherAI/gpt-neo