大數(shù)據(jù)甚囂塵上了三四年，如今創(chuàng)業(yè)不講機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘都不好意思跟投資人介紹。但現(xiàn)實(shí)情況是，你在市面上見過多少套已經(jīng)產(chǎn)品化的基于機(jī)器學(xué)習(xí)的軟件？鳳毛麟角?？峙潞芏酀M嘴術(shù)語(yǔ)的從業(yè)者都不明白，作不到預(yù)測(cè)的機(jī)器學(xué)習(xí)都是在忽悠。而能實(shí)現(xiàn)預(yù)測(cè)的產(chǎn)品，說難不難，可是門檻不低，能做出來的創(chuàng)業(yè)團(tuán)隊(duì)不多見。

【本文中人稱指代純粹為修辭手法，部分文字有嘲諷含義，夸張更是必不可少，不喜勿入。】

那些漫天飛的所謂大數(shù)據(jù)分析報(bào)告，不是數(shù)據(jù)挖掘，更不是機(jī)器學(xué)習(xí)。類似本文所配題圖是不是經(jīng)常出現(xiàn)在大部分機(jī)器學(xué)習(xí)的文章中？事實(shí)是，完成這樣的工作，不需要機(jī)器學(xué)習(xí)，只需要簡(jiǎn)單計(jì)數(shù)器，青鳥集訓(xùn)幾個(gè)月的分分鐘搞定。

你覺得深度學(xué)習(xí)很牛啊，連圖片和聲音識(shí)別都搞得很好了，搞些文本識(shí)別有啥意思?？珊苌儆腥颂拱赘嬖V你，到目前為止，深度學(xué)習(xí)尚未在自然語(yǔ)言處理中有突破進(jìn)展，NLP比圖像和語(yǔ)言識(shí)別實(shí)際上更難。圖像和語(yǔ)音識(shí)別出來是啥？還是文本?，F(xiàn)在企業(yè)里至少95%以上的重要數(shù)據(jù)還是文本，做產(chǎn)品的能不去覆蓋？

現(xiàn)在做數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的人員供不應(yīng)求，BAT3四處高薪挖角，用過幾個(gè)開源庫(kù)的就號(hào)稱是熟手，價(jià)碼高得離譜。一提機(jī)器學(xué)習(xí)不就是聚類分類嘛。“聚類我懂啊，k-means天天用。”還不說讓你改進(jìn)算法，你真嘗試過用它做個(gè)產(chǎn)品出來嗎？拿個(gè)開源的模塊攢出一個(gè)Demo，到客戶那里實(shí)測(cè)。一個(gè)相同的測(cè)試數(shù)據(jù)集，產(chǎn)品跑三遍，聚類結(jié)果沒有相同的。用戶當(dāng)時(shí)就蒙了，相同的數(shù)據(jù)還能有不同結(jié)果？你振振有詞地解釋：“k-means算法就這樣啊，運(yùn)算前要猜分類的個(gè)數(shù)，干脆就給個(gè)隨機(jī)數(shù)，另外，也得給幾個(gè)隨機(jī)初始中心點(diǎn)，這樣下來，每次跑聚類結(jié)果不一樣太正常不過了。這是你不懂。我在哪哪哪就是這么用的！”用戶合情合理的對(duì)產(chǎn)品常見的基本要求一下就被你歸到無(wú)理那類去了。

互聯(lián)網(wǎng)公司自己使用的機(jī)器學(xué)習(xí)引擎，都尚未產(chǎn)品化，甚至連產(chǎn)品化預(yù)期都沒有。隔段時(shí)間修修補(bǔ)補(bǔ)，換一個(gè)訓(xùn)練和測(cè)試集，改兩個(gè)算法細(xì)節(jié)，調(diào)三個(gè)參數(shù)，這些在產(chǎn)品研發(fā)里十分忌諱的行為司空見慣。反正系統(tǒng)也不會(huì)拿出去用，一般用戶都只能接觸到一點(diǎn)點(diǎn)運(yùn)算結(jié)果，學(xué)術(shù)界也還在摸著石頭過河，是不是有穩(wěn)定結(jié)果也無(wú)所謂，財(cái)大氣粗的deep learning隨隨便便搞上千個(gè)計(jì)算節(jié)點(diǎn)，只要召回率有改善就是極大的勝利。在這樣氛圍里工作的工程師出來自己創(chuàng)業(yè)能做出產(chǎn)品來嗎？

那個(gè)知乎上得票第一的回復(fù)說，看完公開課的水平已經(jīng)足夠應(yīng)付灣區(qū)的工作了。是，完全同意，如果你只想當(dāng)一輩子底層碼農(nóng)，只想當(dāng)大公司大項(xiàng)目里一顆可有可無(wú)的螺絲釘，不想有機(jī)會(huì)主持一個(gè)產(chǎn)品的設(shè)計(jì)和實(shí)現(xiàn)。要知道，那些大公司里也有很多研究統(tǒng)計(jì)和AI科班出身的。

想做機(jī)器學(xué)習(xí)的產(chǎn)品，不會(huì)調(diào)算法那是不可能的，基礎(chǔ)的數(shù)學(xué)不過關(guān)根本理解不了算法還談什么調(diào)整。很少有人能告訴你在某個(gè)特定場(chǎng)景下針對(duì)特定數(shù)據(jù)集用哪個(gè)算法更合適，這是個(gè)全新的領(lǐng)域，需要你自己去理解業(yè)務(wù)特征并選擇試驗(yàn)不同算法以獲得最優(yōu)結(jié)果。如果想開發(fā)一個(gè)優(yōu)秀的機(jī)器學(xué)習(xí)產(chǎn)品，你需要一個(gè)優(yōu)秀的產(chǎn)品＋設(shè)計(jì)＋科研＋工程師團(tuán)隊(duì)來解決各方面的細(xì)節(jié)問題：從機(jī)器學(xué)習(xí)理論、到系統(tǒng)構(gòu)建、到專業(yè)領(lǐng)域知識(shí)、到宏觀產(chǎn)品思路、到技術(shù)細(xì)節(jié)實(shí)現(xiàn)、到圖形界面設(shè)計(jì)等等。

是，更多的數(shù)據(jù)勝過更好的算法。你要做網(wǎng)絡(luò)行為異常分析用以偵測(cè)攻擊，覺得采集了大數(shù)據(jù)就已經(jīng)勝利在望?？墒呛懿恍业模闶掷锏拇髷?shù)據(jù)基本全是正常行為，異常只是很少數(shù)。然后，你意識(shí)到正統(tǒng)的分類算法對(duì)類別平均分布的訓(xùn)練數(shù)據(jù)學(xué)習(xí)效果好，對(duì)這種不平衡的訓(xùn)練集很容易出現(xiàn)偏差（能意識(shí)到這點(diǎn)已經(jīng)不容易了，常見的都是直接調(diào)開源庫(kù)硬上）。這時(shí)候不懂理論怎么搞？還有，海量數(shù)據(jù)的特征維度太多，你到底應(yīng)該選哪些特征用以計(jì)算？接下來讓你構(gòu)建一個(gè)分類器實(shí)時(shí)預(yù)測(cè)網(wǎng)絡(luò)攻擊，只能拿到一個(gè)時(shí)間窗口里的數(shù)據(jù)，這跟大數(shù)據(jù)有啥關(guān)聯(lián)？到這里，你就會(huì)發(fā)現(xiàn)扎實(shí)的基本功是做機(jī)器學(xué)習(xí)產(chǎn)品的必要基礎(chǔ)。

Gartner說數(shù)據(jù)分類是以數(shù)據(jù)為中心的安全的基礎(chǔ)，最近拿了那么多融資的Digital Guardian也把數(shù)據(jù)分類一直掛在口頭，可它做出來了基于機(jī)器學(xué)習(xí)的分類器嗎？用戶手里拿著上億條數(shù)據(jù)使用的日志，完全不知道哪些才是關(guān)鍵數(shù)據(jù)，必須借助分類器才可以發(fā)現(xiàn)風(fēng)險(xiǎn)。根據(jù)實(shí)際的大客戶案例，基于自然語(yǔ)言處理和機(jī)器學(xué)習(xí)的產(chǎn)品，才能真正有效實(shí)現(xiàn)數(shù)據(jù)分類。

其實(shí)還有很多可以寫，限于篇幅，以后再聊。