讓大模型一次性無(wú)損地「吃下」一本書(shū)已經(jīng)不是什么稀奇的事了，但如果我告訴你是下面????這樣一本近百萬(wàn)字的書(shū)呢？

沒(méi)錯(cuò)，這么瘋狂的事竟然真的發(fā)生了——就在昨天月之暗面（Moonshot AI）召集了一次媒體溝通會(huì)，宣布在大模型長(zhǎng)上下文窗口技術(shù)上取得新的突破：不到半年，Kimi 智能助手升級(jí)十倍——從支持20萬(wàn)字直接到支持 200 萬(wàn)字超長(zhǎng)無(wú)損上下文。

ps：Kimi Chat已改名為Kimi智能助手，并已在官網(wǎng)（kimi.ai）開(kāi)啟“內(nèi)測(cè)”。

超長(zhǎng)上下文解鎖超多可能

月之暗面現(xiàn)場(chǎng)展示了一些超長(zhǎng)無(wú)損上下文的使用場(chǎng)景示例。最令人印象深刻的自然是開(kāi)頭提到的近百萬(wàn)字的《中醫(yī)內(nèi)科學(xué)》一書(shū)。當(dāng)月之暗面工程副總裁許欣然抱出這本書(shū)時(shí)，引起了現(xiàn)場(chǎng)所有人的驚嘆，好家伙，Kimi還真能一下“消化掉”并給出準(zhǔn)確的診療建議，這背后的技術(shù)就像這本書(shū)一樣“沉甸甸”。

支持超長(zhǎng)上下文之后，Kimi在處理超多文件的業(yè)務(wù)場(chǎng)景時(shí)自然解鎖了更多可能。例如，公司 HR 可以快速?gòu)?00 份簡(jiǎn)歷中讓 Kimi 快速找出有某個(gè)行業(yè)從業(yè)經(jīng)歷，同時(shí)從計(jì)算機(jī)類專業(yè)畢業(yè)的求職者：

圖片

Kimi十分鐘速成專家

大家肯定都聽(tīng)過(guò)一萬(wàn)小時(shí)專家定律，月之暗面在現(xiàn)場(chǎng)提出了「Kimi十分鐘速成專家定律」——在 200 萬(wàn)字無(wú)損上下文的支持下，只需 10 分鐘，Kimi 就能接近任何一個(gè)新領(lǐng)域的初級(jí)專家水平。比如上傳英偉達(dá)過(guò)去幾年的完整財(cái)報(bào)，馬上就能讓 Kimi 成為英偉達(dá)財(cái)務(wù)研究專家，幫用戶分析總結(jié)英偉達(dá)歷史上的重要發(fā)展節(jié)點(diǎn)。

而如果將甄嬛傳全集幾十萬(wàn)字的劇本傳給 Kimi，你就能成為堪比一個(gè)看了好幾十遍電視劇的“甄”學(xué)家，無(wú)論是甄嬛、果郡王的情感線以及和他們孩子的真相，借助Kimi都能秒答出來(lái)：

除了快速成為專家之外，Kimi還能讓你扮演跑團(tuán)游戲主持人，體驗(yàn)各種數(shù)字分身……

月之暗面「持續(xù)登月」

實(shí)現(xiàn)通用人工智能就像是登月，在通往AGI的路上，無(wú)損的長(zhǎng)上下文將會(huì)是一個(gè)很關(guān)鍵的基礎(chǔ)技術(shù)。從 word2vec 到 RNN、LSTM，再到 Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無(wú)損的上下文長(zhǎng)度?！?/p>

月之暗面創(chuàng)始人&CEO楊植麟前不久在接受騰訊科技采訪時(shí)表示：“長(zhǎng)文本是登月第一步，它很本質(zhì)。它是新的計(jì)算機(jī)內(nèi)存，它能解決很多現(xiàn)在的問(wèn)題。比如，現(xiàn)在多模態(tài)架構(gòu)還需要tokenizer，但當(dāng)你有一個(gè)無(wú)損壓縮的long context就不需要了，可以把原始的放進(jìn)去。進(jìn)一步講，它是把新計(jì)算范式變成更通用的基礎(chǔ)……”

事實(shí)證明，月之暗面在登月的第一步上成績(jī)斐然，月之暗面將 Kimi 智能助手的無(wú)損上下文長(zhǎng)度從20 萬(wàn)字提升到200 萬(wàn)字只用了不到半年時(shí)間。而在這半年時(shí)間里，由于沒(méi)有采用常規(guī)的漸進(jìn)式提升路線，月之暗面團(tuán)隊(duì)遇到的技術(shù)難度也是指數(shù)級(jí)增加的。為了達(dá)到更好的長(zhǎng)窗口無(wú)損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對(duì)齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開(kāi)發(fā)，不走“滑動(dòng)窗口”、“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)，才取得了新的突破。

月之暗面工程副總裁許欣然在媒體溝通會(huì)上表示，“無(wú)論是內(nèi)存、算力還是網(wǎng)絡(luò)帶寬，歷史上每一次基礎(chǔ)技術(shù)的升級(jí)，都會(huì)解鎖新的產(chǎn)品形態(tài)和應(yīng)用場(chǎng)景。我們對(duì) 200 萬(wàn)無(wú)損上下文的 Kimi 可以帶來(lái)哪些超出想象力的創(chuàng)新機(jī)遇充滿期待?！?/strong>

楊植麟此前在接受采訪時(shí)明確表示，登月的第一步是長(zhǎng)文本，第二步則會(huì)有兩個(gè)大的milestone。其中之一就是真正的統(tǒng)一各種不同模態(tài)的世界模型，即一個(gè)真正的scalable和general的architecture（可擴(kuò)展、通用的系統(tǒng)結(jié)構(gòu)）。關(guān)于影響下一步“登月”計(jì)劃的多模態(tài)模型，月之暗面在現(xiàn)場(chǎng)透露，他們?cè)缭赟ora發(fā)布之前就在研發(fā)多模態(tài)大模型，預(yù)計(jì)今年就會(huì)亮相。

最后，就讓我們小小地期待下，月之暗面會(huì)不會(huì)在視頻生成時(shí)長(zhǎng)上也在國(guó)內(nèi)帶來(lái)類似長(zhǎng)文本一樣“一騎絕塵”的突破吧。

本文轉(zhuǎn)載自夕小瑤科技說(shuō)，作者：王二狗

原文鏈接：??https://mp.weixin.qq.com/s/riq8xlZNNt0m-vZtRMpeAw??