去年年初，Jordan Tigani發(fā)表了一個演講《Big data is dead》，這個演講引發(fā)了不少爭論。如果是別人談這件事，可能很多人會不以為然，不過了解Jordan Tigani的履歷的人可能就得在腦子里多轉(zhuǎn)幾個彎了。

圖片

這哥們可不是一般人，曾經(jīng)是谷歌BigQuery項目的第一批程序員，寫過幾本大數(shù)據(jù)的書，又是利用DuckDB開展大數(shù)據(jù)云服務的服務商的聯(lián)合創(chuàng)始人。妥妥的根正苗紅的大數(shù)據(jù)前輩，連這種濃眉大眼的人都叛變了，難道大數(shù)據(jù)真的快死翹翹了嗎？    

對于大數(shù)據(jù)方面的觀點，我一直是有些滯后于主流觀點的。當大家認為大數(shù)據(jù)會顛覆關系型數(shù)據(jù)庫的時候，我十分固執(zhí)的認為這件事不會發(fā)生。當然涉及到自己的飯碗，固執(zhí)己見是必然的。而當現(xiàn)在很多人在唱衰大數(shù)據(jù)的時候，我依然不以為然。因為大數(shù)據(jù)無需唱衰，大數(shù)據(jù)已經(jīng)融入了社會生活。當我們跳入水里的時候會有所感知，但是我們會感知我們走入了空氣中嗎？不會，因為我們一直存在與空氣中。大數(shù)據(jù)也是如此，當我們?nèi)谌氪髷?shù)據(jù)的時候，大數(shù)據(jù)的關注度就降低了，我們無需感知它的存在了。

當我們每天開車上班的時候，大數(shù)據(jù)在為我們選擇最佳的出行方式與行車路徑；當我們在地鐵上遺失了貴重物品的時候，大數(shù)據(jù)幫我們很快追蹤到失物的蹤跡；大數(shù)據(jù)會讓氣象預報以小時為單位發(fā)布，并且能夠比較準確的預測到15天甚至更遠的大致情況；大數(shù)據(jù)能幫助稅務部門發(fā)現(xiàn)某些人在十年前的稅務違規(guī)，能夠幫助海關發(fā)現(xiàn)潛在的走私行為；而當我們打開抖音的時候，總是能刷到自己喜歡類型的小姐姐。這一切的背后都是大數(shù)據(jù)和大數(shù)據(jù)處理。大數(shù)據(jù)不是死了，而是進化了，進化得讓我們不需要感知到它的存在了，因為它的幽靈已經(jīng)無處不在了。

不談大數(shù)據(jù)到底是不是已經(jīng)成為了我們的空氣，單單就Jordan的那個演講來看，似乎觀點也不大靠譜，這篇演講稿里充滿了濃厚的商業(yè)氣息，妥妥的是作為一個CPO（首席產(chǎn)品官）而不是一個CTO在演講。離開了谷歌BigQuery后，從事的業(yè)務變了，立場也就變了。其中的一些主要觀點都存在一些偏頗的地方。    

圖片

去年3月份，在Jordan發(fā)表演講后不久，加州伯克利的數(shù)據(jù)科學家Aditya Parameswaran撰寫了一篇長文，對Jordan的一些存在錯誤的關鍵點進行了一一分析。Aditya也不是無名之輩，他發(fā)起的Ponder目前已經(jīng)被SnowFlake收購。相對而言，我還是比較認同Aditya的觀點的，有興趣的朋友可以仔細閱讀一下他的文章（https://ponder.io/big-data-is-dead-long-live-big-data/），具體的觀點我就不在這里多啰嗦了。

2021年我曾經(jīng)去參觀過一個智能工廠，用2000多個機械臂替代了以前的2000名工人。當時他們的車間主管說支撐這個工廠的數(shù)據(jù)庫每天會產(chǎn)生一個TB的數(shù)據(jù)，這些數(shù)據(jù)需要用比較便宜一點的存儲設備長期保存起來。對這些數(shù)據(jù)的分析可以幫他們發(fā)現(xiàn)機器人參數(shù)中存在的問題，從而優(yōu)化這些參數(shù)，進一步提高良品率。這些數(shù)據(jù)的價值是巨大的，剛開始的時候他們并不了解這些數(shù)據(jù)的用途，一般保留幾天后就會自動刪除。自從一個高校和他們的科研項目開展起來后，他們才發(fā)現(xiàn)這些數(shù)據(jù)的價值，于是他們立即投資建設了數(shù)據(jù)歸檔系統(tǒng)。Jordan的演講中認為歷史數(shù)據(jù)訪問頻率不高，利用價值不大 ，只是不知道如何刪除它才會被錯誤的長期保存，這種對數(shù)據(jù)價值的描述明顯是錯誤的。    

實際上我們在做智能化運維系統(tǒng)的時候也經(jīng)常發(fā)現(xiàn)，因為缺乏歷史數(shù)據(jù)，某些算法的應用和研究往往就無法進行。前些年構建運維知識圖譜的時候，有位客戶拿出了壓箱底的10年積累的故障案例，我們?nèi)绔@至寶，不過這項工作并沒有順利的進行下去，因為他們只保留了日志文件和當時的分析報告，缺乏大量的指標數(shù)據(jù)，因此很難用于建模。

“計算需求不會隨著時間的推移而保持不變，因為日常工作負載的需求會有所不同，數(shù)據(jù)大小和計算維度的靈活性是關鍵”，上述Aditya的觀點正好與我上面所說的例子吻合。當我們需要某種計算的時候，經(jīng)常會發(fā)現(xiàn)數(shù)據(jù)的不足。

大數(shù)據(jù)的計算與應用需求來自于業(yè)務，一些感覺大數(shù)據(jù)是忽悠的朋友，可能是因為企業(yè)上大數(shù)據(jù)項目的時候只是為了趕時髦，而并不是真實的需求而已。不過不要緊，計算需求會隨著時間推移而變化的，隨著企業(yè)數(shù)字化轉(zhuǎn)型的發(fā)展，你也許會在未來看到這些大數(shù)據(jù)的價值的。

我們今天所說的大數(shù)據(jù)處理早已經(jīng)不是2004年谷歌發(fā)表那幾篇論文時代的大數(shù)據(jù)處理了。正如大數(shù)據(jù)興起時，Nosql能顛覆RDBMS的革命正如我所期望的那樣并沒有發(fā)生，如今我們對大數(shù)據(jù)有了更豐富的處理方式。大量的SQL ON HADOOP技術的出現(xiàn)，數(shù)據(jù)湖、實時數(shù)倉、湖倉一體、HTAP等技術的出現(xiàn)與演進，讓大數(shù)據(jù)的處理變得更加簡單了。硬件技術的發(fā)展也讓單機集中式數(shù)據(jù)庫的處理能力飛速提升。關系型數(shù)據(jù)庫也能夠處理大數(shù)據(jù)了。

隨著大語言模型的高速發(fā)展（大語言模型實際上也是大數(shù)據(jù)的產(chǎn)物），AI4BI的發(fā)展也在發(fā)生質(zhì)變。融合計算也日益被公眾所接受，文檔處理不再是MongoDB的專利，Oracle 23c中已經(jīng)十分成功的將向量計算、圖計算、文檔處理與傳統(tǒng)的關系型數(shù)據(jù)處理融為一體。融合計算會讓大數(shù)據(jù)處理更加高效，大數(shù)據(jù)應用的成本更加低廉，這只會加快大數(shù)據(jù)價值的增值，而絕不會讓大數(shù)據(jù)死亡。    

數(shù)據(jù)已經(jīng)快成為與土地、勞動力、技術、資本并列成為第五生產(chǎn)要素了，這時候唱衰大數(shù)據(jù)的行為大多數(shù)只是一些商業(yè)的炒作而已。想給大數(shù)據(jù)燒紙的朋友可能要當心了，大數(shù)據(jù)的一絲游魂已經(jīng)進化成了人工智能CHATGPT，而它據(jù)說已經(jīng)進軍殯葬業(yè)，今后誰會給誰燒紙還真不好說啊。