我們從嬰兒時期就開始吸收語言。簡單的詞出現(xiàn)在第一年或第二年。到 6 歲時，我們的詞匯量增加了數(shù)千個，到了青少年時期，已學(xué)習(xí)的單詞超過 100,000 個。但是，盡管語言是人類與生俱來的能力，但機器發(fā)現(xiàn)它非常困難。

[[421700]]

這是莫拉維克悖論的一個典型例子，它指出機器容易的事情對人來說很難，反之亦然。軟件可以快速、完美地計算大量集合的數(shù)學(xué)運算，但它在日常人類活動中遇到困難，例如識別周圍環(huán)境中的物體或理解語言。盡管開發(fā)以與人類相同的方式理解自然語言的軟件已經(jīng)有大量的活動，但這仍然是一個重大挑戰(zhàn)。

文字不是數(shù)字

在過去的 20 年中，產(chǎn)生和捕獲的所有形式的數(shù)據(jù)量都呈爆炸式增長。從廣義上講，這些數(shù)據(jù)分為兩類：結(jié)構(gòu)化和非結(jié)構(gòu)化。結(jié)構(gòu)化數(shù)據(jù)是數(shù)字化和有組織的，根據(jù)定義是數(shù)學(xué)運算的基本輸入。得益于機器學(xué)習(xí)(ML) 和數(shù)據(jù)處理能力的整體增長，人工智能在從結(jié)構(gòu)化數(shù)據(jù)中為從潛在機器故障到欺詐檢測等所有方面產(chǎn)生預(yù)測性見解方面取得了堅實的進(jìn)展。如果您能夠以數(shù)字方式表達(dá)和構(gòu)建數(shù)據(jù)，那么您就有了機器學(xué)習(xí)驅(qū)動洞察力的潛在候選人。

但數(shù)字技術(shù)也導(dǎo)致非結(jié)構(gòu)化數(shù)據(jù)的大量增加，包括圖片、視頻和語言數(shù)據(jù)。這就是傳統(tǒng)的基于機器學(xué)習(xí)的自然語言處理 (NLP) 技術(shù)的不足之處。語言是數(shù)據(jù)密集型的——它攜帶著大量的潛在信息，具體取決于它的使用方式。

作為思考練習(xí)，只需列出任何常見單詞(如“bat”)的含義和用法的數(shù)量。這些含義來自上下文。語言學(xué)家 RJ Firth 寫道：“你應(yīng)該知道它所擁有的公司一個詞。” 語言的這些內(nèi)在元素使得應(yīng)用數(shù)學(xué)技術(shù)真正理解自然語言的含義變得非常具有挑戰(zhàn)性。然而，“一刀切”的語言機器學(xué)習(xí)方法還有一個更根本的缺點：知識問題。

知識問題

當(dāng)您進(jìn)入復(fù)雜的語言文檔的現(xiàn)實世界時，語言挑戰(zhàn)變得更加復(fù)雜，這些文檔為眾多企業(yè)提供支持并且是其領(lǐng)域所獨有的。根據(jù)定義，這些是使語言更加復(fù)雜的邊緣情況。機器學(xué)習(xí)模型僅通過訓(xùn)練所依據(jù)的數(shù)據(jù)了解世界，并且它們通過在許多情況下復(fù)雜且不透明的算法得出結(jié)果——許多人工智能方法的著名“黑匣子”特征。

提供實際解決方案的大部分工作取決于確保數(shù)據(jù)集足夠大和具有足夠的代表性，以捕獲主題專家只有經(jīng)過多年的經(jīng)驗和培訓(xùn)才能識別的信息。在許多情況下，如此大量的訓(xùn)練數(shù)據(jù)是不可用的。鑒于現(xiàn)實世界會隨著時間的推移而發(fā)生變化，并且模型需要進(jìn)行再訓(xùn)練，這也是一項持續(xù)的練習(xí)。

即使是 GPT-3 等大型語言模型的廣為人知的進(jìn)步，也沒有理由對這種復(fù)雜性持樂觀態(tài)度。這些模型依賴海量數(shù)據(jù)集進(jìn)行訓(xùn)練，可以處理相對簡單的語言案例。但是在特定領(lǐng)域缺乏任何真正的基礎(chǔ)，它們與具有經(jīng)驗和知識的人用來理解意圖、上下文和含義的方法相去甚遠(yuǎn)。

整體超過部分之和

人們逐漸認(rèn)識到需要將機器學(xué)習(xí)方法的功能與建立在企業(yè)專家多年來開發(fā)的知識基礎(chǔ)上的方法相結(jié)合。這些基于知識的方法被稱為符號人工智能，依賴于嵌入知識的技術(shù)，類似于人類如何建立自己對學(xué)科的掌握。

符號方法提供了可解釋性的額外好處，因為結(jié)果與知識的顯式表示相關(guān)聯(lián)。事實上，符號方法是用于人工智能自然語言理解的第一種技術(shù)，并且越來越被視為對最近的機器學(xué)習(xí)方法的必要補充。

學(xué)習(xí)和知識方法的結(jié)合提供了大規(guī)模產(chǎn)生深入理解的能力，以及與可解釋的領(lǐng)域和結(jié)果相關(guān)的見解。這種“混合”方法可以確保以可擴(kuò)展的方式捕獲和交付嵌入在語言中的相關(guān)信息，從而做出更快、更智能和更一致的決策，從而使人們能夠更好地完成工作(變得更專業(yè))。這最終是企業(yè)競爭的舞臺，也是最好的技術(shù)提供的場所。