家人們，GPT-4的參數(shù)可能還真不止1萬億！

近來，美國知名駭客George Hotz在接受采訪時透露，GPT-4由8個220B模型組成。

這么算來，8 x 220B = 1.76萬億。

就連PyTorch的創(chuàng)建者Soumith Chintala對此也深信不疑。

GPT-4：8 x 220B專家模型用不同的數(shù)據(jù)/任務(wù)分布和16-iter推理進行訓(xùn)練。

如果真是這樣的話，GPT-4的訓(xùn)練可能更加有效。

1.76萬億「八頭蛇」？

在GPT-4還未放出之前，GPT-3有1750億個參數(shù)，一眾網(wǎng)友猜測GPT-4豈不是要逆天，最起碼1萬億。

而George在接受Latent Space的采訪時，對GPT4架構(gòu)的描述著實讓人震驚。

他的部分原話如下：

GPT-4每個head都有2200億參數(shù)，是一個8路的混合模型。所以，混合模型是當你想不出辦法的時候才會做的。OpenAI訓(xùn)練了相同模型8次，他們有一些小技巧。他們實際上進行了16次推斷。

他特別強調(diào)，OpenAI做了8個混合專家模型，任何人可以花8倍資金都能訓(xùn)練出來。

也就是說，人們能夠訓(xùn)練更小模型更長時間，微調(diào)后，就能找到這些技巧。

OpenAI曾經(jīng)發(fā)表類似關(guān)于讓計算量不變的情況下，讓訓(xùn)練更好的算法，比較像BatchNorm和NoBatchNorm。

網(wǎng)友熱評

就像George所說，這是8個較小的模型，如果有足夠資金訓(xùn)練8個混合模型，這是一個微不足道的解決方案。

所以，GPT-4是GPT-3的10倍，而1月份的所有小圈圈大圈圈的meme實際上是......真的？！

網(wǎng)友得知秘訣后，打算自己也要訓(xùn)練一個LLaMA集合體與GPT-4競爭。

還有網(wǎng)友稱，這有點像LLM-Blender。

我早就聽到了稍微可信的傳言，說GPT-4將是MoE，但從未得到證實。MoE和大約1萬億個參數(shù)不會讓我感到驚訝，這聽起來極為合理。

還有網(wǎng)友進行深度分析：

老實說，我預(yù)計這將是人工智能架構(gòu)的下一階段。我們已經(jīng)看到特定任務(wù)模型在任務(wù)中的表現(xiàn)比一般模型好得多。

因此，將許多特定任務(wù)模型組合在一起將是下一個合乎邏輯的步驟。這幾乎使升級系統(tǒng)變得容易得多，一次只能處理一個模型。

話雖如此，OpenAI以一種未來可能會，也可能不會的方式做到了這一點。顯然，組合系統(tǒng)可能會有更多的小模型，而不是幾個更大的模型。

如果這是真的，這是否意味著每個220B模型也有32K的上下文長度？

網(wǎng)友下了功夫，給它命名為「九頭蛇」。