MIT 推出機器翻譯新算法，破譯已消失的古語言
麻省理工學(xué)院計算機科學(xué)與人工智能實驗室(Computer Science and Artificial Intelligence Laboratory，CSAIL)的研究人員最近開發(fā)出了一種新的計算機算法，可以幫助語言學(xué)家自動破譯歷史上消失已久失的古語言。
官方指出，該系統(tǒng)能夠自動破譯已消失的語言，且無需對這一語言與其他語言的關(guān)系有深入的了解。他們還表明，該系統(tǒng)自身就可以確定語言之間的關(guān)系，并可以用它來證實最近的一項表明 Iberian 語言實際上與 Basque 語言無關(guān)的學(xué)術(shù)研究。
CSAIL 方面稱，最近的研究表明，大多數(shù)曾經(jīng)存在過的語言已經(jīng)不再被使用。其中有數(shù)十種已滅絕語言也已被認(rèn)為是“未破譯”的語言。這就意味著，大眾對它們的語法(grammar)、詞匯(vocabulary)或句法(syntax)都了解不足，也無法理解其文本的意思。
而研究這些“未破譯”的語言，除了是出于學(xué)術(shù)上的好奇心。還在于，不理解語言我們就會錯過與講這些語言的人有關(guān)的一整套知識體系。然而不幸的是，大多數(shù)滅絕語言的相關(guān)記錄都非常的少，導(dǎo)致科學(xué)家無法使用谷歌翻譯之類的機器翻譯工具或 AI 算法來對其進行解密。
因此，此次 CSAIL 團隊推出這一新算法的最終目的就是，旨在只用幾千個單詞，就可以破譯語言學(xué)家?guī)资陙黼y以理解的失傳語言。
本次研究由 MIT 教授 Regina Barzilay 牽頭，依賴于基于歷史語言學(xué)(historical linguistics)見解的幾項原則。例如，語言通常僅以某些可預(yù)測的方式發(fā)展。具體表現(xiàn)為：一種給定的語言很少會直接添加或刪除整個音節(jié)，但是很可能會發(fā)生某些近似發(fā)音的替換。像母語中帶有“p”發(fā)音的單詞就可能會在其后代演變中變?yōu)?ldquo;b”，但是由于明顯的發(fā)音差異，變?yōu)?ldquo;k”的可能性則較小。
通過整合這些原則和其他語言學(xué)約束，Barzilay 和 MIT 博士生 Jiaming Luo 開發(fā)了一種解密算法，該算法可以處理可能的轉(zhuǎn)換的巨大空間以及輸入中引導(dǎo)信號的稀缺性。該算法學(xué)習(xí)將語言聲音嵌入多維空間，在該多維空間中，相應(yīng)矢量之間的距離反映了不同發(fā)音的差異。這種設(shè)計使他們能夠捕獲語言變化的相關(guān)模式，并將其表達為計算約束(computational constraints)。生成的模型可以將古代語言中的單詞進行細分，并將其映射到相關(guān)語言中的對應(yīng)單詞。
該項目建立在 Barzilay 和 Luo 去年寫的一篇論文的基礎(chǔ)上， 這篇論文解密了已滅絕的 Ugaritic 和 Linear B 語言，后者以前需要數(shù)十年的時間才能被人類解碼。但是，兩個項目之間的主要區(qū)別在于，該團隊此前就已經(jīng)知道這些語言分別與希伯來語和希臘語的早期形式有關(guān)。
新算法可以推斷語言之間的關(guān)系，這是語言解密中的最大挑戰(zhàn)之一。該算法可以評估兩種語言之間的相似度，當(dāng)對已知語言進行測試時，它甚至可以準(zhǔn)確地識別出該語言屬于哪個語系(language families)。不僅如此，算法生成的模型可以將古語言中的單詞進行細分，并將其一一映射到“相關(guān)”語言中的對應(yīng)單詞上去。
在未來的工作中，該團隊希望擴展到將文本與已知語言的相關(guān)單詞相關(guān)聯(lián)的范圍之外，這種方法被稱為“基于同源的破譯方法”。其表示，“例如，我們可以識別文本中涉及到的所有人或地點的信息，然后可以根據(jù)已知的歷史證據(jù)對其進行進一步的調(diào)查。這些實體識別(entity recognition)方法如今已廣泛用于各種文本處理應(yīng)用程序中，并且具有很高的準(zhǔn)確性。但是關(guān)鍵的研究問題在于，在沒有任何古代語言訓(xùn)練數(shù)據(jù)的情況下，這項任務(wù)是否可行? ”
本文轉(zhuǎn)自O(shè)SCHINA。
本文標(biāo)題：MIT 推出機器翻譯新算法，破譯已消失的古語言
本文地址：https://www.oschina.net/news/119481/mit-translating-lost-languages-machine-learning
