[[190844]]

DL 的難度取決于看問(wèn)題的角度。數(shù)學(xué)系的話(huà)應(yīng)該往理論方向看。

DL 用線(xiàn)性和非線(xiàn)性函數(shù)堆砌來(lái)構(gòu)造函數(shù)，用隨機(jī)梯度下降就可以訓(xùn)練，而且還有非常好的泛化能力，在我看來(lái)這樣的東西居然沒(méi)有原理這是完全不可想像的。但是 DL 很難，難到大家都不知道如何入手，用什么數(shù)學(xué)工具都不知道，所以說(shuō)什么樣的理論文章都有，凝聚態(tài)物理的(spin-glass)，量子物理的(重整化群)，ODE 的(動(dòng)力系統(tǒng))，各種優(yōu)化理論(這個(gè)例子太多)，各種復(fù)雜度理論，但還沒(méi)看到真正提煉出本質(zhì)的。數(shù)學(xué)這邊那么多理論，但現(xiàn)在還沒(méi)有哪個(gè)能搬到 DL 上而且能?chē)?yán)絲合縫的，至于能進(jìn)行有效預(yù)測(cè)的就更沒(méi)有了。這就足夠說(shuō)明問(wèn)題的復(fù)雜性，DL 是沒(méi)那么簡(jiǎn)單的。

要深入 DL，各種基礎(chǔ)知識(shí)是不可少的。但是基礎(chǔ)知識(shí)并不是拿來(lái)炫耀的本錢(qián)，因?yàn)閷W(xué)了一大堆，可能一個(gè)都沒(méi)用。比如說(shuō) VC Dimension 或者 Rademacher Complexity 對(duì) DL 有沒(méi)有用?它們本身都很漂亮，但可能假設(shè)太強(qiáng)得到的結(jié)論和現(xiàn)實(shí)差很遠(yuǎn)，或者假設(shè)太寬泛得到的結(jié)論太弱，都不在 DL 的工作區(qū)間。所以做理論的人，不得不一個(gè)個(gè)學(xué)過(guò)來(lái)，想過(guò)了，試過(guò)了，然后放掉，下一個(gè)。解決問(wèn)題是最終的目標(biāo)，而不是學(xué)得比人多些，然后坐在原地不動(dòng)夸耀自己厲害。耍弄十八般武藝，比不過(guò)高手一招制敵。至于這一招怎么找到，或者從理論分析這邊入手，或者從實(shí)驗(yàn)入手，都是一樣有價(jià)值，都是平等的，不存在誰(shuí)鄙視誰(shuí)的問(wèn)題。鄙視就意味著有不合理的預(yù)設(shè)立場(chǎng)，忽視另一種思路的作用，對(duì)解決問(wèn)題是不利的。

學(xué)數(shù)學(xué)的時(shí)候，我的感覺(jué)像是走進(jìn)了琳瑯滿(mǎn)目的藝術(shù)博物館，在整潔的環(huán)境中欣賞各種精巧的美。DL 相比之下就像是鍋爐房里堆疊著一坨污七八糟的機(jī)器，工程師們東敲西打讓它工作，雖然臟亂，確實(shí)有效。大部分人可以沿著前人鋪好的錦繡路上再添磚加瓦，但是真正厲害的，是不顧臟亂跑到鍋爐房里把機(jī)器拆開(kāi)，化腐朽為神奇，找到最重要原理的那些人。開(kāi)創(chuàng)比修補(bǔ)難，與其抱怨 DL 沒(méi)有高深數(shù)學(xué)做框架，不如自己試試看，能不能做些有趣的東西出來(lái)。現(xiàn)在那么大的金礦放在那里，大家應(yīng)該好好合作使勁挖礦才是啊。 小波是很美，但問(wèn)題是它的基函數(shù)是固定形式的，不能適應(yīng)具體問(wèn)題，而且還需要數(shù)學(xué)家搞一輩子才能搞出來(lái)。與之相比，深度模型訓(xùn)練幾天就能跑出來(lái)，而且針對(duì)具體問(wèn)題(比如說(shuō)圖像分類(lèi))效果還更好，你會(huì)選哪個(gè)?所以說(shuō)現(xiàn)在思路要轉(zhuǎn)變，一個(gè)一個(gè)地研究模型太沒(méi)效率了，做一個(gè)對(duì)數(shù)據(jù)自動(dòng)建模的模型，是不是在戰(zhàn)略上會(huì)更有趣一點(diǎn)呢?

我和我一個(gè)同學(xué)聊過(guò)，他現(xiàn)在是統(tǒng)計(jì)系的終身教授，列舉了幾個(gè)非常牛的數(shù)學(xué)家，問(wèn)我 AI 再牛牛得過(guò)他們么?我沒(méi)有正面回答，我在想人類(lèi)看螞蟻的時(shí)候會(huì)思考普通螞蟻和聰明一點(diǎn)的螞蟻之間的區(qū)別么?我這里并沒(méi)有貶低數(shù)學(xué)家的意思，因?yàn)槿祟?lèi)都是一樣的，我也是微不足道的普通螞蟻而已——相比耗能堪比一座小城市并且每幾個(gè)月就更新?lián)Q代的集群，人腦僅僅幾十瓦的功率，神經(jīng)元間慢達(dá)毫秒級(jí)的傳輸速度，敗下陣來(lái)只是時(shí)間問(wèn)題。而現(xiàn)在的人腦處理大部分任務(wù)甚至還遠(yuǎn)勝集群，可見(jiàn)人工智能潛力之大。我有時(shí)候覺(jué)得我們看到幾顆星辰就以為是大突破了，其實(shí)我們還在漫漫長(zhǎng)夜里瞎摸，太陽(yáng)還沒(méi)有露頭呢。

另外說(shuō)一下門(mén)檻低的問(wèn)題。幾百年前，微積分出來(lái)之后，一大類(lèi)問(wèn)題都可以用統(tǒng)一的方法解決，讓技術(shù)進(jìn)步的門(mén)檻降低了，本來(lái)高高在上的各種技巧平民化了，馬上就帶動(dòng)了相關(guān)領(lǐng)域的巨大進(jìn)展。這個(gè)歷史進(jìn)程和我們現(xiàn)在看到深度學(xué)習(xí)的進(jìn)程一模一樣，開(kāi)源了，大家都用了，對(duì)整個(gè)人類(lèi)而言進(jìn)步就快了。到了這個(gè)時(shí)候，單槍匹馬干不了什么事，人民群眾才是技術(shù)進(jìn)步的原動(dòng)力。

面對(duì)時(shí)代的洪流，相比嘲弄?jiǎng)e人隨波逐流，思考應(yīng)該如何順勢(shì)而為，或許是更有建設(shè)性的吧。