學(xué)習(xí)了一段時(shí)間神經(jīng)網(wǎng)絡(luò)技術(shù)之后發(fā)現(xiàn)對(duì)很多東西理解還不夠深刻，所以今天就來(lái)梳理一下神經(jīng)網(wǎng)絡(luò)的技術(shù)棧，深入了解一下不同的工具在神經(jīng)網(wǎng)絡(luò)中所處的位置，以及其扮演的角色。

先說(shuō)一句廢話，神經(jīng)網(wǎng)絡(luò)僅僅只是神經(jīng)網(wǎng)絡(luò)，它不涉及具體的任務(wù)，只是一個(gè)神經(jīng)網(wǎng)絡(luò)模型；神經(jīng)網(wǎng)絡(luò)要解決實(shí)際問題就需要和不同的任務(wù)領(lǐng)域相結(jié)合。

神經(jīng)網(wǎng)絡(luò)技術(shù)棧

要了解或者說(shuō)要學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，首先要從兩個(gè)方面去入手——技術(shù)原理和應(yīng)用場(chǎng)景。

神經(jīng)網(wǎng)絡(luò)是基于人工智能領(lǐng)域中，機(jī)器學(xué)習(xí)的深化——深度學(xué)習(xí)，通過模仿人類的大腦神經(jīng)的行為來(lái)實(shí)現(xiàn)人工智能的一種技術(shù)手段。

因此，基于這種思想誕生了神經(jīng)網(wǎng)絡(luò)模型；既然是模仿人類大腦的神經(jīng)網(wǎng)絡(luò)模型，那么具體的數(shù)學(xué)模型應(yīng)該是什么樣的呢？

因此，這里就產(chǎn)生了神經(jīng)網(wǎng)絡(luò)模型中幾種常見的神經(jīng)網(wǎng)絡(luò)架構(gòu)及其變種，RNN——循環(huán)神經(jīng)網(wǎng)絡(luò)，CNN——卷積神經(jīng)網(wǎng)絡(luò)和Transformer——自注意力模型。

為什么會(huì)有多種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)模型？

因?yàn)槿祟愡€無(wú)法真正模擬出人類的大腦神經(jīng)網(wǎng)絡(luò)，因此只能根據(jù)不同的任務(wù)類型設(shè)計(jì)能夠處理不同任務(wù)的神經(jīng)網(wǎng)絡(luò)模型；比如說(shuō)Transformer擅長(zhǎng)處理NLP任務(wù)，CNN適合處理圖像任務(wù)等。

所以說(shuō)可以簡(jiǎn)單把神經(jīng)網(wǎng)絡(luò)技術(shù)理解成一種實(shí)現(xiàn)人工智能的思想，而RNN，CNN與Transformer等神經(jīng)網(wǎng)絡(luò)架構(gòu)是其中的幾種實(shí)現(xiàn)方式，也可以理解成數(shù)學(xué)模型。

而有了思想還要有具體的實(shí)現(xiàn)，因?yàn)樯窠?jīng)網(wǎng)絡(luò)的本質(zhì)是數(shù)學(xué)模型，因此需要進(jìn)行大量的數(shù)學(xué)計(jì)算；所以，谷歌和meta公司分別開發(fā)了一款神經(jīng)網(wǎng)絡(luò)的開發(fā)框架，Tensorflow和PyTorch，也就是一個(gè)科學(xué)計(jì)算框架，里面封裝了大量的數(shù)學(xué)計(jì)算公式等。

因此，如果說(shuō)RNN，CNN和Transformer是一種實(shí)現(xiàn)思想；那么PyTorch就是實(shí)現(xiàn)這些思想的具體工具；有了PyTorch和Tensorflow技術(shù)人員在開發(fā)神經(jīng)網(wǎng)絡(luò)時(shí)就會(huì)簡(jiǎn)單很多。

以上是神經(jīng)網(wǎng)絡(luò)中純粹的技術(shù)問題，網(wǎng)絡(luò)模型是理論，PyTorch和Tensorflow負(fù)責(zé)具體實(shí)現(xiàn)。

而從實(shí)際的價(jià)值來(lái)說(shuō)，技術(shù)的作用是解決問題，也就是應(yīng)用；因此，需要把神經(jīng)網(wǎng)絡(luò)技術(shù)與其它領(lǐng)域的任務(wù)相結(jié)合，去解決實(shí)際問題，這樣才能發(fā)揮神經(jīng)網(wǎng)絡(luò)的真正價(jià)值。

而作為一個(gè)人工智能，最基礎(chǔ)的功能當(dāng)然就是要能夠和人類進(jìn)行正常交流；因此，神經(jīng)網(wǎng)絡(luò)就必須能夠理解語(yǔ)言，圖像，視頻；并且能夠生成新的內(nèi)容。

所以，神經(jīng)網(wǎng)絡(luò)與自然語(yǔ)言處理(NLP)任務(wù)相結(jié)合就有了自然語(yǔ)言處理的神經(jīng)網(wǎng)絡(luò)模型；而神經(jīng)網(wǎng)絡(luò)與圖像，視頻處理的任務(wù)相結(jié)合，就有了CV——計(jì)算機(jī)視覺處理。

所以說(shuō)，NLP和CV是神經(jīng)網(wǎng)絡(luò)技術(shù)的兩個(gè)主要應(yīng)用方向；但NLP和CV并不是依賴于神經(jīng)網(wǎng)絡(luò)技術(shù)而存在，NLP和CV是兩項(xiàng)獨(dú)立的技術(shù)領(lǐng)域；只不過神經(jīng)網(wǎng)絡(luò)技術(shù)在這兩個(gè)領(lǐng)域中表現(xiàn)還不錯(cuò)。

神經(jīng)網(wǎng)絡(luò)與NLP和CV的關(guān)系就類似于農(nóng)村地鍋和城市里的天然氣類似；做飯可以用地鍋，也可以用天然氣；只不過天氣熱用起來(lái)更簡(jiǎn)單方便。神經(jīng)網(wǎng)絡(luò)就相當(dāng)于天然氣，但不用神經(jīng)網(wǎng)絡(luò)還有其它方法研究NLP和CV。

這也是為什么，明明你學(xué)了pyTorch和Transformer，你依然不知道該怎么解決NLP和CV的問題；原因就在于神經(jīng)網(wǎng)絡(luò)只是研究NLP和CV的一種工具。這就相當(dāng)于你學(xué)會(huì)了使用天然氣，但就代表你會(huì)做菜了嗎？ 畢竟天然氣和做菜是兩個(gè)領(lǐng)域的問題。

那現(xiàn)在應(yīng)該知道神經(jīng)網(wǎng)絡(luò)與NLP，CV的關(guān)系了吧？以及神經(jīng)網(wǎng)絡(luò)的幾種經(jīng)典架構(gòu)模型；但Embedding又是什么東西？ 

Embedding中文叫做嵌入，簡(jiǎn)單來(lái)說(shuō)就是一種數(shù)據(jù)格式轉(zhuǎn)換工具；在神經(jīng)網(wǎng)絡(luò)中，主要的數(shù)據(jù)格式是向量(張量)；而在人類的交流中主要是文字，圖片，視頻等數(shù)據(jù)格式。

因此，使用神經(jīng)網(wǎng)絡(luò)模型就需要把人類認(rèn)識(shí)的文字，圖片，視頻等格式的數(shù)據(jù)，轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)能難過處理的數(shù)據(jù)格式——也就是張量(向量)。而這個(gè)過程就是Embedding要做的事情，數(shù)據(jù)格式轉(zhuǎn)換。