人工智能與自然語(yǔ)言處理技術(shù)
隨著人工智能技術(shù)的發(fā)展,我們生活中的許多應(yīng)用都帶上了“AI”的色彩,比如可以用計(jì)算機(jī)幫翻譯外文文檔。但有時(shí)候人工智也能會(huì)出一些小故障,變得不那么智能,尤其在語(yǔ)言處理方面。那么我們?cè)鯓硬拍茏屓斯ぶ悄茏兂烧嬲?ldquo;智能”呢?自然語(yǔ)言處理技術(shù)就是一個(gè)重要的方式。
自然語(yǔ)言處理技術(shù)(即natural language processing,簡(jiǎn)稱(chēng)NPL)是人工智能的一個(gè)重要分支,其目的是利用計(jì)算機(jī)對(duì)自然語(yǔ)言進(jìn)行智能化處理?;A(chǔ)的自然語(yǔ)言處理技術(shù)主要圍繞語(yǔ)言的不同層級(jí)展開(kāi),包括音位(語(yǔ)言的發(fā)音模式)、形態(tài)(字、字母如何構(gòu)成單詞、單詞的形態(tài)變化)、詞匯(單詞之間的關(guān)系)、句法(單詞如何形成句子)、語(yǔ)義(語(yǔ)言表述對(duì)應(yīng)的意思)、語(yǔ)用(不同語(yǔ)境中的語(yǔ)義解釋?zhuān)⑵拢ň渥尤绾谓M合成段落)7個(gè)層級(jí)。這些基本的自然語(yǔ)言處理技術(shù)經(jīng)常被運(yùn)用到下游的多種自然語(yǔ)言處理任務(wù)中,如機(jī)器翻譯、對(duì)話、問(wèn)答、文檔摘要等。
科學(xué)家研究自然語(yǔ)言處理技術(shù)(NLP)的目的是讓機(jī)器能夠理解人類(lèi)語(yǔ)言,用自然語(yǔ)言的方式與人類(lèi)交流,最終擁有“智能”。AI時(shí)代,我們希望計(jì)算機(jī)擁有視覺(jué)、聽(tīng)覺(jué)、語(yǔ)言和行動(dòng)的能力,其中語(yǔ)言是人類(lèi)區(qū)別于動(dòng)物的最重要特征之一,語(yǔ)言是人類(lèi)思維的載體,也是知識(shí)凝練和傳承的載體。在人工智能領(lǐng)域,研究自然語(yǔ)言處理技術(shù)的目的就是讓機(jī)器理解并生成人類(lèi)的語(yǔ)言,從而和人類(lèi)平等流暢地溝通交流。
但現(xiàn)在的人工智能常常和我們的人工評(píng)價(jià)有很大的出入,這也是基于AI算法的自動(dòng)評(píng)測(cè)面臨的最大挑戰(zhàn):如何與人工評(píng)價(jià)保持一致?應(yīng)對(duì)這個(gè)挑戰(zhàn)需要解決很多問(wèn)題。以智能閱卷為例:如何制定電腦適用的評(píng)測(cè)標(biāo)準(zhǔn)?人工智能如何應(yīng)對(duì)語(yǔ)言的千變?nèi)f化?如何設(shè)計(jì)閱卷綜合性的評(píng)測(cè)指標(biāo)?有科學(xué)家認(rèn)為,大數(shù)據(jù)與富知識(shí)雙輪驅(qū)動(dòng)或許能成為解決問(wèn)題的關(guān)鍵,即在大數(shù)據(jù)驅(qū)動(dòng)的基礎(chǔ)上加入富知識(shí)驅(qū)動(dòng),可以突破現(xiàn)在智能語(yǔ)言處理技術(shù)上的瓶頸。
總而言之,自然語(yǔ)言技術(shù)的發(fā)展說(shuō)明人工智能技術(shù)的核心還是在“人”。“人工智能和機(jī)器學(xué)習(xí)帶給決策過(guò)程的支撐和信心將使創(chuàng)新加速,但這并不意味著人類(lèi)的缺席。人們?nèi)匀恍枰x分析的起點(diǎn)、標(biāo)注主題并從收集的信息中提取所需數(shù)據(jù)。”