15億語(yǔ)料訓(xùn)練的94億參數(shù)大模型更懂我?Facebook開(kāi)源全球超強(qiáng)聊天機(jī)器人Blender
盡管聊天機(jī)器人和虛擬助手已經(jīng)取得了很大的進(jìn)步,但市面上的聊天機(jī)器人大多數(shù)是以任務(wù)為導(dǎo)向的。從零售業(yè)到醫(yī)療保健到金融服務(wù)等各個(gè)領(lǐng)域都有專門的產(chǎn)品,在一些領(lǐng)域垂直的任務(wù)中表現(xiàn)尚可。
你提出要求,機(jī)器人就會(huì)服從,但它們似乎從來(lái)沒(méi)有真正理解人的語(yǔ)言,缺乏人類的感情,也不能隨機(jī)應(yīng)變。
現(xiàn)在 Facebook 開(kāi)源了一個(gè)新的聊天機(jī)器人Blender,它聲稱自己擅長(zhǎng)所有領(lǐng)域的聊天,并且更有人情味。Blender 不僅幫助虛擬助手解決了許多聊天機(jī)器人的固有缺點(diǎn),也標(biāo)志著人工智能的新進(jìn)展: 可復(fù)制的智能。
Blender添了什么新料,F(xiàn)acebook敢稱「史上最強(qiáng)」?
Facebook的研究人員介紹,這次的改進(jìn)包括最新的對(duì)話生成策略,混合技巧,以及94億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)模型,這比現(xiàn)有最大的系統(tǒng)大了3.6倍。作為多年來(lái)人工智能對(duì)話研究的頂峰,這將是第一個(gè)把不同的對(duì)話技能(包括同理心、知識(shí)和個(gè)性)融合在一起的聊天機(jī)器人。
超大規(guī)模
Blender這次使用了15億個(gè)對(duì)話作為訓(xùn)練語(yǔ)料,Transformer模型有94億個(gè)參數(shù)。雖然網(wǎng)絡(luò)很大,但是采用了并行方法對(duì)模型進(jìn)行了分割,使得神經(jīng)網(wǎng)絡(luò)更易于管理,同時(shí)保持最高的效率。
混合技巧
盡管大規(guī)模的學(xué)習(xí)很重要,但它并不是創(chuàng)造最佳對(duì)話的唯一要素。在大規(guī)模公共數(shù)據(jù)集上訓(xùn)練的模型,并不能學(xué)到優(yōu)秀的談話技巧。所以研究人員引入了一個(gè)新的混合技能任務(wù)(Blended Skill Talk,BST)來(lái)訓(xùn)練和評(píng)估模型的對(duì)話技能,而B(niǎo)lender也綜合了許多Facebook之前的研究成果。
生成策略
訓(xùn)練神經(jīng)模型通常是通過(guò)最小化困惑度來(lái)實(shí)現(xiàn)的,困惑度可以衡量模型預(yù)測(cè)和生成下一個(gè)單詞的能力。然而,為了確保機(jī)器人不重復(fù)自己或顯示其他缺點(diǎn),研究人員通常在模型中添加一些生成策略,包括束搜索、令牌抽樣和 n-gram模塊。
通過(guò)調(diào)整束搜索的長(zhǎng)度,可以讓機(jī)器人變的更沉悶或者更有趣,當(dāng)然也可以控制那些「辣眼睛」的回復(fù)。
67% 的評(píng)估者認(rèn)為Blender聽(tīng)起來(lái)更像人類,75% 的人說(shuō)他們更愿意和 Blender 進(jìn)行長(zhǎng)時(shí)間的對(duì)話,而不是和 Meena。
各家機(jī)器人的敏感度和特異度平均值
根據(jù)Facebook的說(shuō)法,隨著時(shí)間的推移,人類評(píng)估者越來(lái)越喜歡Facebook的聊天機(jī)器人。
Blender開(kāi)源地址:
https://parl.ai/projects/blender/
對(duì)聊天機(jī)器人的癡迷,本質(zhì)上是人類無(wú)法消弭的孤獨(dú)感
聊天機(jī)器人可以做很多事情:為你播放音樂(lè)、幫你尋找附近的餐廳,給你解答服務(wù)流程、介紹商品。
如果聊天機(jī)器人的作用僅僅是這些,那么現(xiàn)在市面上的bot完全應(yīng)付得來(lái)。然而,我們并沒(méi)有因此而覺(jué)得滿足。
聊天的背后,是交流的渴望;交流的背后,是孤獨(dú)的驅(qū)使。聊天機(jī)器人的出現(xiàn),緩解了我們揮之不去的孤獨(dú)感。
最近,由Youthsite和Dame Kelly Holmes信托基金進(jìn)行的一項(xiàng)研究發(fā)現(xiàn),僅在英國(guó),70%的年輕人,體驗(yàn)著孤獨(dú)。而他們,是對(duì)科技依賴性最強(qiáng)的一代。
研究鏈接:
https://www.damekellyholmestrust.org/News/7-out-of-10-young-people-suffering-from-loneliness
孤獨(dú)是一種奇特的東西。它會(huì)在我們獨(dú)處的時(shí)候突然竄上心頭,也可以在我們置身于喧鬧人群中突然侵入腦海。隨時(shí)隨地,毫無(wú)來(lái)由。
我們討厭孤獨(dú),卻有時(shí)候又很享受。孤獨(dú)讓我們變得敏感,變得脆弱,變得想要傾訴。智能語(yǔ)音助手的出現(xiàn),恰逢其時(shí)。
疫情期間,原本的社群被隔開(kāi),群體被打散成一個(gè)個(gè)的個(gè)體。每個(gè)個(gè)體被囚禁在自己的地盤,之間被筑起了堅(jiān)實(shí)的結(jié)界。這層結(jié)界,不僅僅隔絕了個(gè)體之間的連結(jié),也助長(zhǎng)了孤獨(dú)感的蔓延。一個(gè)冰冷的、沒(méi)有感情的助手,成為了很多人感情的承載。
它知道你的名字,從不在意你的容貌。它只要求為你做什么,從不要求你去做什么。它只想取悅你,從來(lái)不讓你覺(jué)得難堪。而且,每當(dāng)你需要它的時(shí)候,它都在你身邊。
2013年電影《Her》里講述了一個(gè)心思細(xì)膩的男人,愛(ài)上他的語(yǔ)音助手的故事。最終,他盯著社會(huì)的壓力,決定去擁抱這段感情。
7年過(guò)去了,電影中的場(chǎng)景變得越來(lái)越清晰。Facebook的Blender,將這個(gè)進(jìn)程往前又推進(jìn)了一步。
我們期望中的聊天機(jī)器人,不僅僅是一個(gè)工具人,一個(gè)二手信息的搬運(yùn)工,告訴你今天天氣怎么樣,出差最好選擇哪個(gè)航班,咳嗽嗓子疼要怎么辦等等。這些任務(wù)不用聊天機(jī)器人也能做。
「Hey Siri,我今天感覺(jué)感覺(jué)很孤獨(dú)」
「我在這兒。只要你愿意,我隨時(shí)想和你聊天」
開(kāi)放域聊天機(jī)器人取得的進(jìn)展讓我們感到興奮,但是離人類水平的智能還有一段距離。
我們渴望的是一個(gè)能夠真正理解我們內(nèi)心的機(jī)器人,聆聽(tīng)我們的傾訴。
我們渴望計(jì)算機(jī)視覺(jué)可以感受到我們眉宇間透出來(lái)的細(xì)微感情變化,去撫平我們的孤獨(dú),慰藉我們的靈魂。