夕小瑤科技說 原創(chuàng)
 作者 | 小戲、ZenMoore

要說現(xiàn)在 GPT-4 最大的問題是什么？可能除了一時(shí)拿他沒有辦法的機(jī)器幻覺，就是卡死的輸入長度了吧。盡管在一般的對(duì)話、搜索的場景里目前普通版本 GPT-4 的 8000 左右的上下文長度或許綽綽有余，但是在諸如內(nèi)容生成、智能閱讀等方面當(dāng)下基礎(chǔ)版的 GPT-4 還是有些捉襟見肘。

然而在 GPT-4 的發(fā)布會(huì)里也談到，事實(shí)上 GPT-4 是支持 32768 個(gè) token 長度的，只是暫時(shí)還沒有被完全釋放，而是會(huì)陸續(xù)自動(dòng)更新。而這兩天，32k GPT-4 的曙光似乎馬上就要來了！不少 GPT-4 的用戶已經(jīng)可以在自己的 PlayGround 上看到 GPT-4 32k 的選項(xiàng)。

在 API 里，也可以通過指定 GPT-4-32K 的 Model 來對(duì)升級(jí)版進(jìn)行調(diào)用

但是，這應(yīng)該仍然是 GPT-4 對(duì)部分用戶的內(nèi)測，并且應(yīng)該不是按申請(qǐng) waitlist 的時(shí)間來發(fā)布內(nèi)測名額，收到 32k 版本內(nèi)測的用戶是在 3 月 16 日加入的 waitlist，但也有同樣時(shí)間加入的用戶沒有解鎖 32k 的版本。一個(gè)可能的原因是收到內(nèi)測版本的用戶曾經(jīng)在注冊(cè)時(shí)強(qiáng)調(diào)了對(duì) 32k GPT-4 極大的興趣。

當(dāng)然，不管怎樣，32k 的 GPT-4 看起來確實(shí)是離我們?cè)絹碓浇?，那?32k 的 GPT-4 會(huì)帶來什么樣的想象力的改變呢？畢竟它的價(jià)格比 8k 版本的 GPT-4 貴了兩倍，并且有可能會(huì)有更慢的響應(yīng)時(shí)間……

一個(gè)例子是對(duì)話機(jī)器人，當(dāng)上下文長度擴(kuò)展到 50 頁以后，那么就可以極大的避免比如因?yàn)榛隽?8k 窗口而帶來的復(fù)雜的嵌入問題。又如對(duì)如論文、研報(bào)等大量復(fù)雜信息的提取與解讀，目前必須通過結(jié)構(gòu)化的方法對(duì)資料進(jìn)行拆分再逐步進(jìn)行提取，而 32k 的上下文長度則可以一舉省去這些麻煩。再比如推特博主 Matt Shumer 做的一個(gè)小測試，通過提供給 GPT-4 32k 一份代碼樣例，幾秒鐘內(nèi)它就完成了一套完整的測試案例，這對(duì)工程而言也非常具有顛覆性。

在 OpenAI 之外，也有開源模型開放了甚至更大上下文長度的大規(guī)模語言模型。這個(gè)名為 MPT-7B （也稱做 Llongboi） 在這個(gè)月 5 號(hào)發(fā)布，這個(gè)花費(fèi)了 20 萬美元訓(xùn)練的 Llongboi 最大的亮點(diǎn)在于支持 64k 的上下文，可以服務(wù)于內(nèi)容生成、聊天等多種場景。

博客地址：https://www.mosaicml.com/blog/mpt-7b

項(xiàng)目鏈接：https://github.com/mosaicml/llm-foundry

當(dāng)然，開源項(xiàng)目的性能及穩(wěn)定性肯定無法比肩 GPT-4，既然已經(jīng)陸陸續(xù)續(xù)開始有人收到了 32k 的 GPT-4 的邀請(qǐng)，相信它必然很快就會(huì)和我們見面，那就讓我們“Hopefully it picks up the pace”吧！