OpenAI公司日前發(fā)布了其文本生成模型GPT-4，引起了人們的廣泛關(guān)注。但該公司表示，開發(fā)人員還不能在上面構(gòu)建任何產(chǎn)品或服務(wù)，因?yàn)锳PI仍在等待列表中。

這意味著只有少數(shù)用戶有機(jī)會(huì)使用OpenAI公司這個(gè)最新的大型語(yǔ)言模型。人工智能初創(chuàng)公司Mieeind ehf就是其中之一，該公司是僅有的六家被選中對(duì)GPT-4進(jìn)行測(cè)試的公司之一。

該公司的一個(gè)由12人組成的團(tuán)隊(duì)希望通過(guò)冰島語(yǔ)訓(xùn)練GPT-4，他們?cè)谌ツ?月前往美國(guó)灣區(qū)測(cè)試GPT-4之后，成為硅谷這款最熱門產(chǎn)品的早期測(cè)試者之一。Mieeind公司的首席執(zhí)行官加入了一個(gè)冰島政府代表團(tuán)，探索如何利用科技來(lái)幫助保護(hù)該國(guó)的語(yǔ)言。

Mieeind公司的首席執(zhí)行官與OpenAI公司的Sam Altman對(duì)GPT-4如何采用和開發(fā)像冰島語(yǔ)這樣的低資源語(yǔ)言進(jìn)行了探討。這些語(yǔ)言對(duì)大型模型語(yǔ)言的全球化應(yīng)用構(gòu)成了挑戰(zhàn)，這是因?yàn)橛糜谟?xùn)練模型所收集的數(shù)據(jù)要少得多。

Mieeind公司的團(tuán)隊(duì)為此提出了他們對(duì)GPT-4如何改進(jìn)的看法，人工智能用來(lái)保護(hù)冰島語(yǔ)的萬(wàn)年歷，以及GPT-4如何為貓創(chuàng)造出一個(gè)非常有趣的新術(shù)語(yǔ)。

令人興奮的發(fā)展

Mieeind公司的這個(gè)團(tuán)隊(duì)的任務(wù)是，通過(guò)向GPT-4輸入冰島語(yǔ)強(qiáng)化學(xué)習(xí)數(shù)據(jù)(初始訓(xùn)練之后的階段)，了解是否能提高GPT-4在語(yǔ)言應(yīng)用和處理方面的表現(xiàn)。

Mieeind公司的機(jī)器學(xué)習(xí)團(tuán)隊(duì)成員之一Pétur Orri Ragnarsson表示，其結(jié)果在GPT-3.5上有了明顯的改進(jìn)，但當(dāng)涉及到冰島語(yǔ)的使用時(shí)，這個(gè)模型仍然不完美。他說(shuō)，“它用冰島語(yǔ)生成的文本往往是可以理解的，但仍然有一些語(yǔ)法錯(cuò)誤。”

Ragnarsson表示，他可以看到GPT-3.5在一般的推理方面有巨大的改進(jìn)。

他說(shuō)：“最令人興奮的是，可以要求它做一些事情，并解釋為什么它會(huì)給出這個(gè)結(jié)果。GPT-3.5可以做到，GPT-4更好，因?yàn)檫@讓人們感覺(jué)它的解釋更合理或更可信。人們通常嘗試的一件事是讓GPT-4做一些事情，并解釋過(guò)程中的每一步——它做得非常好。”

“可解釋性”是開發(fā)生成式人工智能的人一直試圖解決的一大問(wèn)題，因?yàn)榇笮驼Z(yǔ)言模型的功能方式意味著輸出是在“黑箱”中生成的。這意味著即使是構(gòu)建GPT-4的開發(fā)人員也不知道它是如何回答問(wèn)題的，這意味著很難讓這些模型展示它們的工作原理。

如果生成式人工智能要在醫(yī)療和法律等行業(yè)得到廣泛應(yīng)用，那么在這些領(lǐng)域工作的人需要能夠信任模型的輸出。

高階思維

讓Ragnarsson印象深刻的GPT-4的另一個(gè)特點(diǎn)是，它能夠產(chǎn)生比以前的模型更敏銳的反應(yīng)。他舉了一個(gè)例子，用它來(lái)對(duì)一段文字進(jìn)行情緒分析，其評(píng)價(jià)從中性到積極，評(píng)分從1到5分。

Ragnarsson說(shuō)：“我輸入了一段我認(rèn)為相當(dāng)中性的一句話，也就是一位客戶向客服詢問(wèn)一些事情?！彼@訝地發(fā)現(xiàn)，GPT-4對(duì)這句話的評(píng)價(jià)是略微積極。

他說(shuō)，“我問(wèn)，‘請(qǐng)解釋一下?！玫降拇鸢阜浅Ａ钊梭@訝。它說(shuō)，‘雖然這句話本身是中立的，但正在考慮的行動(dòng)將會(huì)改善他們的生活，所以從整體上看，這一句話是略微積極的。’”

他認(rèn)為，這表明GPT-4已經(jīng)學(xué)會(huì)了超越文本的“表面含義”。

Mieeind公司的首席運(yùn)營(yíng)官Linda Heimisdottir說(shuō)，GPT-4的這些能力尤其令人印象深刻，因?yàn)閾?jù)她所知，這個(gè)模型并沒(méi)有專門訓(xùn)練過(guò)情感分析。

她說(shuō)：“看到這樣一個(gè)模型做了研究人員多年來(lái)一直在做的事情，而且它沒(méi)有專門受過(guò)這方面的訓(xùn)練，這令人驚嘆。看到它的成果和人們的想法真的很令人興奮，這讓人們覺(jué)得GPT-4有著巨大的應(yīng)用潛力。”

勤奮的貓

GPT-4如何采用冰島語(yǔ)的一個(gè)例子來(lái)自于該語(yǔ)言使用的復(fù)合詞，復(fù)合詞是將不同的概念組合成一個(gè)詞。

Heimisdottir表示，她讓GPT-4講一個(gè)關(guān)于貓的故事，GPT-4給出了一個(gè)冰島語(yǔ)單詞，“kattafr?eilega”，這是GPT-4發(fā)明的一個(gè)合成詞，其大致的意思為 “cat”(貓)。

她解釋說(shuō):“第一部分‘katta’是‘cat’的意思，但第二部分‘fr?eilega’的意思是‘與理論有關(guān)’。GPT-4描述這只貓是‘kattafr?eilega duglegur’。duglegur是一個(gè)冰島詞，意思是勤奮或努力工作。

當(dāng)我讓GPT-4解釋它的意思時(shí)，它說(shuō)：‘kattafr?eilega duglegur’意味著這只貓?zhí)貏e勤奮。換句話說(shuō)，它擅長(zhǎng)抓撓、調(diào)查、追逐昆蟲、尋找食物，對(duì)周圍環(huán)境充滿活力和興趣。它很擅長(zhǎng)做一只貓?！?/p>

Mieeind認(rèn)為，“對(duì)于大型語(yǔ)言模型來(lái)說(shuō)，要在較少使用的語(yǔ)言中實(shí)現(xiàn)真正的高性能，需要在初始訓(xùn)練中包含良好的多語(yǔ)言數(shù)據(jù)集，我們希望下一步可以進(jìn)入預(yù)訓(xùn)練?！?/p>

像這樣的研究對(duì)確保下一代人工智能不僅僅是進(jìn)一步集中在英語(yǔ)世界的創(chuàng)新進(jìn)步至關(guān)重要，因?yàn)楣韫鹊拇笮涂萍脊疽呀?jīng)主導(dǎo)了大型語(yǔ)言模型領(lǐng)域。事實(shí)上，OpenAI公司選擇Mieeind公司作為GPT-4的早期測(cè)試廠商，至少表明該公司對(duì)生成式人工智能具有全球視野，即使這是出于商業(yè)動(dòng)機(jī)。