日前，從微軟亞洲研究院官網(wǎng)了解到其研究團(tuán)隊(duì)對(duì)外宣布，最新研發(fā)的機(jī)器翻譯系統(tǒng)在通用新聞報(bào)道測(cè)試集newstest2017的中-英測(cè)試集上，達(dá)到了可與人工翻譯媲美的水平。

[[222700]]

據(jù)稱，這是首個(gè)在新聞報(bào)道的翻譯質(zhì)量和準(zhǔn)確率上可以比肩人工翻譯的翻譯系統(tǒng)。

該系統(tǒng)模型包含了由微軟亞洲研究院研發(fā)的對(duì)偶學(xué)習(xí)、推敲網(wǎng)絡(luò)、聯(lián)合訓(xùn)練和一致性規(guī)范技術(shù)。機(jī)器翻譯是自然語(yǔ)言處理領(lǐng)域最具挑戰(zhàn)性的研究任務(wù)之一。

微軟技術(shù)院士，負(fù)責(zé)微軟語(yǔ)音、自然語(yǔ)言和機(jī)器翻譯工作的黃學(xué)東稱，“這是對(duì)自然語(yǔ)言處理領(lǐng)域最具挑戰(zhàn)性任務(wù)的一項(xiàng)重大突破。在機(jī)器翻譯方面達(dá)到與人類相同的水平是所有人的夢(mèng)想，我們沒(méi)有想到這么快就能實(shí)現(xiàn)。”

[[222701]]

據(jù)悉，​newstest2017新聞報(bào)道測(cè)試集由產(chǎn)業(yè)界和學(xué)術(shù)界的合作伙伴共同開(kāi)發(fā)，并于去年秋天在WMT17大會(huì)上發(fā)布。為了確保翻譯結(jié)果準(zhǔn)確且達(dá)到人類的翻譯水平，微軟研究團(tuán)隊(duì)邀請(qǐng)了雙語(yǔ)語(yǔ)言顧問(wèn)將微軟的翻譯結(jié)果與兩個(gè)獨(dú)立的人工翻譯結(jié)果進(jìn)行了比較評(píng)估。

雖然此次突破意義非凡，但研究人員也提醒大家，這并不代表人類已經(jīng)完全解決了機(jī)器翻譯的問(wèn)題，只能說(shuō)明我們離終極目標(biāo)又更近了一步。微軟亞洲研究院副院長(zhǎng)、自然語(yǔ)言計(jì)算組負(fù)責(zé)人周明表示，在WMT17測(cè)試集上的翻譯結(jié)果達(dá)到人類水平很鼓舞人心，但仍有很多挑戰(zhàn)需要我們解決，比如在實(shí)時(shí)的新聞報(bào)道上測(cè)試系統(tǒng)等。

附該系統(tǒng)包含的四大技術(shù)——

對(duì)偶學(xué)習(xí)(Dual Learning)：

對(duì)偶學(xué)習(xí)的發(fā)現(xiàn)是由于現(xiàn)實(shí)中有意義、有實(shí)用價(jià)值的人工智能任務(wù)往往會(huì)成對(duì)出現(xiàn)，兩個(gè)任務(wù)可以互相反饋，從而訓(xùn)練出更好的深度學(xué)習(xí)模型。例如，在翻譯領(lǐng)域，我們關(guān)心從英文翻譯到中文，也同樣關(guān)心從中文翻譯回英文;在語(yǔ)音領(lǐng)域，我們既關(guān)心語(yǔ)音識(shí)別的問(wèn)題，也關(guān)心語(yǔ)音合成的問(wèn)題;在圖像領(lǐng)域，圖像識(shí)別與圖像生成也是成對(duì)出現(xiàn)。此外，在對(duì)話引擎、搜索引擎等場(chǎng)景中都有對(duì)偶任務(wù)。

一方面，由于存在特殊的對(duì)偶結(jié)構(gòu)，兩個(gè)任務(wù)可以互相提供反饋信息，而這些反饋信息可以用來(lái)訓(xùn)練深度學(xué)習(xí)模型。也就是說(shuō)，即便沒(méi)有人為標(biāo)注的數(shù)據(jù)，有了對(duì)偶結(jié)構(gòu)也可以做深度學(xué)習(xí)。另一方面，兩個(gè)對(duì)偶任務(wù)可以互相充當(dāng)對(duì)方的環(huán)境，這樣就不必與真實(shí)的環(huán)境做交互，兩個(gè)對(duì)偶任務(wù)之間的交互就可以產(chǎn)生有效的反饋信號(hào)。因此，充分地利用對(duì)偶結(jié)構(gòu)，就有望解決深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的瓶頸，如“訓(xùn)練數(shù)據(jù)從哪里來(lái)、與環(huán)境的交互怎么持續(xù)進(jìn)行”等問(wèn)題。

圖：對(duì)偶無(wú)監(jiān)督學(xué)習(xí)框架

推敲網(wǎng)絡(luò)(Deliberation Networks)：

“推敲”二字可以認(rèn)為是來(lái)源于人類閱讀、寫(xiě)文章以及做其他任務(wù)時(shí)候的一種行為方式，即任務(wù)完成之后，并不當(dāng)即終止，而是會(huì)反復(fù)推敲。微軟亞洲研究院機(jī)器學(xué)習(xí)組將這個(gè)過(guò)程沿用到了機(jī)器學(xué)習(xí)中。推敲網(wǎng)絡(luò)具有兩段解碼器，其中第一階段解碼器用于解碼生成原始序列，第二階段解碼器通過(guò)推敲的過(guò)程打磨和潤(rùn)色原始語(yǔ)句。后者了解全局信息，在機(jī)器翻譯中看，它可以基于第一階段生成的語(yǔ)句，產(chǎn)生更好的翻譯結(jié)果。

圖：推敲網(wǎng)絡(luò)的解碼過(guò)程

聯(lián)合訓(xùn)練(Joint Training)：

這個(gè)方法可以認(rèn)為是從源語(yǔ)言到目標(biāo)語(yǔ)言翻譯(Source to Target)的學(xué)習(xí)與從目標(biāo)語(yǔ)言到源語(yǔ)言翻譯(Target to Source)的學(xué)習(xí)的結(jié)合。中英翻譯和英中翻譯都使用初始并行數(shù)據(jù)來(lái)訓(xùn)練，在每次訓(xùn)練的迭代過(guò)程中，中英翻譯系統(tǒng)將中文句子翻譯成英文句子，從而獲得新的句對(duì)，而該句對(duì)又可以反過(guò)來(lái)補(bǔ)充到英中翻譯系統(tǒng)的數(shù)據(jù)集中。同理，這個(gè)過(guò)程也可以反向進(jìn)行。這樣雙向融合不僅使得兩個(gè)系統(tǒng)的訓(xùn)練數(shù)據(jù)集大大增加，而且準(zhǔn)確率也大幅提高。

圖：從源語(yǔ)言到目標(biāo)語(yǔ)言翻譯(Source to Target)P(y|x) 與從目標(biāo)語(yǔ)言到源語(yǔ)言翻譯(Target to Source)P(x|y)

一致性規(guī)范(Agreement Regularization)：

翻譯結(jié)果可以從左到右按順序產(chǎn)生，也可以從右到左進(jìn)行生成。該規(guī)范對(duì)從左到右和從右到左的翻譯結(jié)果進(jìn)行約束。如果這兩個(gè)過(guò)程生成的翻譯結(jié)果一樣，一般而言比結(jié)果不一樣的翻譯更加可信。這個(gè)約束，應(yīng)用于神經(jīng)機(jī)器翻譯訓(xùn)練過(guò)程中，以鼓勵(lì)系統(tǒng)基于這兩個(gè)相反的過(guò)程生成一致的翻譯結(jié)果。