你是否曾經(jīng)覺得你已經(jīng)受夠了你目前的工作，想要換個(gè)方向？如果你有，你絕對(duì)不是一個(gè)人。然而，除了參加大辭典，還有一些不太激進(jìn)的方法，比如吳恩達(dá)的方法。

吳恩達(dá)是當(dāng)今人工智能領(lǐng)域最杰出的人物之一。

他是Landing·AI和DeepLearning.AI的創(chuàng)始人，Coursera的聯(lián)合主席和聯(lián)合創(chuàng)始人、斯坦福大學(xué)兼職教授。此前還曾擔(dān)任百度首席科學(xué)家和谷歌大腦項(xiàng)目的創(chuàng)始人之一。

不過據(jù)他自己講，他目前的重點(diǎn)已經(jīng)轉(zhuǎn)移，從數(shù)字世界轉(zhuǎn)移到了現(xiàn)實(shí)世界，正所謂「從比特到事物」。

2017年，吳恩達(dá)創(chuàng)立了Landing AI，這是一家致力于促進(jìn)人工智能在制造業(yè)中的應(yīng)用的創(chuàng)業(yè)公司。

我們采訪了吳恩達(dá)，討論了他所說的人工智能的以數(shù)據(jù)為中心的方法"，以及它與他在Landing AI的工作和當(dāng)今人工智能的大背景之間的關(guān)系。

從數(shù)字化到落地

吳恩達(dá)表示，他的動(dòng)機(jī)是面向行業(yè)的。他認(rèn)為制造業(yè)是 「對(duì)每個(gè)人的生活有巨大影響的偉大行業(yè)之一，但對(duì)我們?cè)S多人來(lái)說是如此不可見?！?/span>

許多國(guó)家，包括美國(guó)在內(nèi)，都對(duì)制造業(yè)的衰落感到悲哀。吳恩達(dá)希望 「采用已經(jīng)改變互聯(lián)網(wǎng)企業(yè)的AI技術(shù)，利用它來(lái)幫助在制造業(yè)工作的人?！?/span>

這是一個(gè)不斷增長(zhǎng)的趨勢(shì)。根據(jù)2021年的一項(xiàng)調(diào)查，制造業(yè)中65%的領(lǐng)導(dǎo)者正在努力試點(diǎn)AI。預(yù)計(jì)在未來(lái)五年內(nèi)將達(dá)到57.2%的復(fù)合年增長(zhǎng)率。

雖然AI正在越來(lái)越多地應(yīng)用于制造業(yè)，但這個(gè)過程比吳恩達(dá)想象的要難得多。他坦言，當(dāng)Landing AI開始時(shí)，主要專注于咨詢工作。

但在參與了許多客戶項(xiàng)目后，吳恩達(dá)和Landing AI開發(fā)了一個(gè)新的工具包和游戲手冊(cè)，讓AI在制造業(yè)和工業(yè)自動(dòng)化領(lǐng)域發(fā)揮作用。

Landing Lens致力于使制造業(yè)和工業(yè)自動(dòng)化領(lǐng)域的客戶能夠快速、輕松地建立和部署視覺檢測(cè)系統(tǒng)。吳曉波不得不調(diào)整他在消費(fèi)者軟件方面的工作，以針對(duì)制造業(yè)的人工智能。

例如，人工智能驅(qū)動(dòng)的計(jì)算機(jī)視覺可以幫助制造商完成識(shí)別生產(chǎn)線上的缺陷等任務(wù)。但這不是一件容易的事，他解釋說。

「在消費(fèi)者軟件中，你可以建立一個(gè)單一的AI系統(tǒng)，為一億或十億用戶提供服務(wù)，并以這種方式真正獲得大量的價(jià)值，但在制造業(yè)中，每個(gè)工廠制造的東西都不一樣。所以每個(gè)制造廠都需要一個(gè)定制的AI系統(tǒng)，根據(jù)他們自己的數(shù)據(jù)進(jìn)行訓(xùn)練?！?/span>

吳恩達(dá)說，AI領(lǐng)域的許多公司面臨的挑戰(zhàn)是，如何幫助1萬(wàn)家制造廠建立1萬(wàn)個(gè)客戶系統(tǒng)。

以數(shù)據(jù)為中心的方法認(rèn)為，AI已經(jīng)達(dá)到了數(shù)據(jù)比模型更重要的地步。如果將AI視為一個(gè)有移動(dòng)部件的系統(tǒng)，那么就應(yīng)該保持模型的相對(duì)固定，專注于高質(zhì)量的數(shù)據(jù)來(lái)微調(diào)模型，而不是繼續(xù)推動(dòng)模型的邊際改進(jìn)。

有這種想法的人并不多。在斯坦福大學(xué)領(lǐng)導(dǎo)Hazy研究小組的Chris Ré是另一個(gè)以數(shù)據(jù)為中心的方法的倡導(dǎo)者。當(dāng)然，如前所述，數(shù)據(jù)的重要性并不新鮮。有成熟的數(shù)學(xué)、算法和系統(tǒng)技術(shù)來(lái)處理數(shù)據(jù)，這些技術(shù)已經(jīng)發(fā)展了幾十年。

然而，如何在現(xiàn)代AI模型和方法的基礎(chǔ)上建立并重新審視這些技術(shù)，才是新的要求。

就在幾年前，我們還沒有長(zhǎng)壽的AI系統(tǒng)，也沒有目前這種規(guī)模的性能強(qiáng)大的深度模型。吳恩達(dá)指出，自從他在2021年3月開始談?wù)撘詳?shù)據(jù)為中心的AI以來(lái)，他得到的反應(yīng)讓他想起了大約15年前他和其他人開始討論深度學(xué)習(xí)的時(shí)候的場(chǎng)景。

吳恩達(dá)說「今天人們的反應(yīng)是：“我一直都知道這個(gè)，沒有什么新東西”，到'這不可能成功'。"但也有一些人說'對(duì)，我一直覺得這個(gè)行業(yè)需要這個(gè)東西，這是一個(gè)偉大的方向'?！?/span>

「數(shù)據(jù)為中心」的AI與基礎(chǔ)模型

假如說，以數(shù)據(jù)為核心的人工智能是正確的方向，那么該如何在現(xiàn)實(shí)世界運(yùn)作這一切呢？吳恩達(dá)指出，指望機(jī)構(gòu)訓(xùn)練各自的定制AI模型是不現(xiàn)實(shí)的。

唯一一個(gè)走出這種困境的辦法就是設(shè)計(jì)一種工具，讓客戶有能力設(shè)計(jì)自己的模型，收集數(shù)據(jù)，表達(dá)各自領(lǐng)域的知識(shí)。

吳恩達(dá)和Landing AI將通過Landing Lens實(shí)現(xiàn)這一點(diǎn)，賦予各領(lǐng)域?qū)＜彝ㄟ^數(shù)據(jù)標(biāo)記的方式傳達(dá)知識(shí)的能力。吳恩達(dá)指出，在生產(chǎn)領(lǐng)域，一般沒有大量的數(shù)據(jù)來(lái)做參照。比方說，如果目標(biāo)是識(shí)別出錯(cuò)的產(chǎn)品，那么一條還算不錯(cuò)的生產(chǎn)線就沒那么多廢品的圖片來(lái)參照。

在生產(chǎn)領(lǐng)域，有時(shí)候全世界只有50張圖片做參照。這對(duì)現(xiàn)有的AI來(lái)說根本不夠。這也就是為什么現(xiàn)在關(guān)注的重點(diǎn)應(yīng)該轉(zhuǎn)向讓專家通過收集數(shù)據(jù)來(lái)記錄他們所擁有的知識(shí)。

吳恩達(dá)說，Landing AI的平臺(tái)正在做這件事。該平臺(tái)可以幫助用戶找到最有用的案例，來(lái)構(gòu)建最一致的標(biāo)簽，并且提高輸入到算法里的圖片和標(biāo)簽的質(zhì)量。

這里的關(guān)鍵是「一致性」。吳恩達(dá)和他之前的一些人發(fā)現(xiàn)，專業(yè)知識(shí)并不能被單一專家定義。對(duì)一位專家來(lái)說有缺陷的東西可能會(huì)被另一位專家重視。這種現(xiàn)象并不是才有，但只有在不得不生成注釋相同的數(shù)據(jù)集時(shí)才會(huì)浮出水面。

吳恩達(dá)表示，「這就是為什么我們需要好的工具和工作流程來(lái)讓專家能快速達(dá)成一致。沒有必要在已經(jīng)打成共識(shí)的地方花時(shí)間。相反，我們的目標(biāo)是關(guān)注專家們沒有達(dá)成一致意見的部分，這樣他們就可以通過討論來(lái)解決存在缺陷的部分。事實(shí)證明，想讓AI系統(tǒng)快速獲得良好性能，達(dá)成整個(gè)數(shù)據(jù)的一致性至關(guān)重要?！?/span>

這種方法不僅很有意義，而且也有一些相似之處。吳恩達(dá)所描述的過程顯然背離了當(dāng)今 AI 經(jīng)常采用的「投入更多數(shù)據(jù)」的方法，而是更多指向基于管理、元數(shù)據(jù)和語(yǔ)義協(xié)調(diào)的方法。

事實(shí)上，像Google前機(jī)器翻譯主管David Talbot這樣的人一直在傳達(dá)這么一個(gè)思想：除了從數(shù)據(jù)中學(xué)習(xí)之外，應(yīng)用各個(gè)領(lǐng)域內(nèi)的知識(shí)對(duì)機(jī)器翻譯也很有意義。在應(yīng)用機(jī)器翻譯和自然語(yǔ)言處理 (NLP) 的情況下，所說的領(lǐng)域內(nèi)的知識(shí)就指的是語(yǔ)言學(xué)。

我們現(xiàn)在已經(jīng)達(dá)到了一個(gè)新階段，我們擁有所謂的NLP基礎(chǔ)模型：比方說像GPT3這樣的巨大模型。經(jīng)過大量數(shù)據(jù)訓(xùn)練，人們可以使用這些模型針對(duì)特定的應(yīng)用程序或領(lǐng)域進(jìn)行微調(diào)。然而，這類NLP基礎(chǔ)模型并沒有真正上利用各領(lǐng)域的知識(shí)。

計(jì)算機(jī)視覺的基礎(chǔ)模型能不能做到這一點(diǎn)呢？如果能的話，我們?cè)撊绾螌?shí)現(xiàn)，以及何時(shí)能實(shí)現(xiàn)？實(shí)現(xiàn)又將帶來(lái)什么？根據(jù)吳恩達(dá)的說法，基礎(chǔ)模型既是規(guī)模問題，也是傳統(tǒng)問題。他認(rèn)為這是可以實(shí)現(xiàn)的，因?yàn)橛泻芏嘌芯拷M正在嘗試建立計(jì)算機(jī)視覺的基礎(chǔ)模型。

吳恩達(dá)說，「這不是說，頭一天它還不是基礎(chǔ)模型，到第二天就是了。在NLP的案例中，我們看到了模型是在發(fā)展的，從Google的BERT模型、transformer模型、GPT2到GPT3。

這是一系列規(guī)模越來(lái)越大的模型，在越來(lái)越多的數(shù)據(jù)上進(jìn)行訓(xùn)練，然后人們將其中一些新興的模型稱為基礎(chǔ)模型。

吳恩達(dá)說，「我相信我們會(huì)在計(jì)算機(jī)視覺中看到類似的東西。很多人多年來(lái)一直在ImageNet上進(jìn)行預(yù)訓(xùn)練，我認(rèn)為趨勢(shì)逐漸會(huì)是對(duì)越來(lái)越大的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，越來(lái)越多地在未標(biāo)記的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并且越來(lái)越多地將會(huì)在視頻上進(jìn)行預(yù)訓(xùn)練?！?/span>

AI的下一個(gè)10年

作為一名計(jì)算機(jī)視覺的內(nèi)部人士，吳恩達(dá)非常清楚人工智能正在取得的穩(wěn)步進(jìn)展。他認(rèn)為，在未來(lái)的某個(gè)時(shí)候，媒體和公眾將宣布，計(jì)算機(jī)視覺模型屬于基礎(chǔ)模型。然而，能否準(zhǔn)確預(yù)測(cè)何時(shí)會(huì)應(yīng)驗(yàn)則是另一回事。

對(duì)于擁有大量數(shù)據(jù)的應(yīng)用程序，例如NLP，輸入系統(tǒng)的領(lǐng)域知識(shí)量隨著時(shí)間的推移而不斷下降。吳恩達(dá)解釋說，在深度學(xué)習(xí)（包括計(jì)算機(jī)視覺和 NLP）的早期，人們通常會(huì)訓(xùn)練一個(gè)小型的深度學(xué)習(xí)模型，然后將其與更傳統(tǒng)的各領(lǐng)域知識(shí)庫(kù)的方法結(jié)合起來(lái)，這是因?yàn)樯疃葘W(xué)習(xí)的效果不佳。

但隨著模型的規(guī)模越來(lái)越大，數(shù)據(jù)越來(lái)越多，注入的各領(lǐng)域的知識(shí)也越來(lái)越少。根據(jù)吳恩達(dá)的說法，人們傾向于認(rèn)為大量數(shù)據(jù)有是一種學(xué)習(xí)算法。這就是為什么機(jī)器翻譯最終證明了學(xué)習(xí)方法的端到端的純度可以表現(xiàn)得不錯(cuò)。但這僅僅適用于需要學(xué)習(xí)大量數(shù)據(jù)的問題。

當(dāng)擁有的是相對(duì)較小的數(shù)據(jù)集時(shí)，領(lǐng)域知識(shí)確實(shí)變得很重要。吳恩達(dá)認(rèn)為人工智能系統(tǒng)提供了兩種知識(shí)來(lái)源——數(shù)據(jù)和人類經(jīng)驗(yàn)。當(dāng)我們擁有大量數(shù)據(jù)時(shí)，人工智能將更多地依賴數(shù)據(jù)，而不是人類知識(shí)。

然而，在數(shù)據(jù)匱乏的領(lǐng)域，比如在制造業(yè)，我們只能依賴人類知識(shí)。技術(shù)上的方法就是構(gòu)建工具，讓專家得以表達(dá)他們的知識(shí)。

這似乎指向了諸如魯棒人工智能、混合人工智能或神經(jīng)符號(hào)人工智能之類的方法，以及用于表達(dá)領(lǐng)域知識(shí)的知識(shí)圖譜等技術(shù)。然而，雖然吳恩達(dá)知道這些技術(shù)，并覺得它們很有趣，但 Landing AI并沒有與它們合作。

吳恩達(dá)還發(fā)現(xiàn)所謂的多模態(tài)AI或結(jié)合不同形式的輸入（例如文本和圖像）是有發(fā)展前景的。在過去十年里，關(guān)注的重點(diǎn)是建設(shè)和完善單一模態(tài)的算法?，F(xiàn)在人工智能社區(qū)變得更龐大了，并且已經(jīng)取得了進(jìn)展，那么追求這個(gè)方向就是有意義的。

雖然吳恩達(dá)是最早使用GPU進(jìn)行機(jī)器學(xué)習(xí)的人之一，但如今的他卻不太關(guān)注硬件方面了。雖然擁有一個(gè)蓬勃發(fā)展的人工智能芯片生態(tài)系統(tǒng)是一件好事，包括英偉達(dá)、AMD 和英特爾等老牌企業(yè)以及擁有新穎架構(gòu)的新貴，但這并不是終點(diǎn)。

在過去的十年里，人工智能的大部分焦點(diǎn)都集中在大數(shù)據(jù)上——也就是說，讓我們利用巨大的數(shù)據(jù)集訓(xùn)練規(guī)模更大的神經(jīng)網(wǎng)絡(luò)。這是吳恩達(dá)本人幫助推廣的。

但是，雖然在大模型和大數(shù)據(jù)方面存在進(jìn)展，但吳恩達(dá)表示，他認(rèn)為如今AI的發(fā)展重點(diǎn)應(yīng)該轉(zhuǎn)向小數(shù)據(jù)和以數(shù)據(jù)為中心的AI。

吳恩達(dá)說，「十年前，我低估了發(fā)展深度學(xué)習(xí)所需的工作量，我認(rèn)為今天很多人都低估了發(fā)展以數(shù)據(jù)為核心的AI所需的工作量、創(chuàng)新、創(chuàng)造力和工具。但是，我們未來(lái)幾年在這方面將會(huì)取得進(jìn)展，我認(rèn)為它將支持更多的人工智能應(yīng)用，我對(duì)此感到非常興奮?！?/span>