大數(shù)據(jù)的本質(zhì)是什么,在競爭之中存在哪幾誤區(qū)?
繼物聯(lián)網(wǎng)、云計算之后,“大數(shù)據(jù)”迅速成為大家爭相傳誦的熱門科技概念。“大數(shù)據(jù)”作為信息社會發(fā)展的一個新生事物,目前尚處在逐漸被認識、被應用的初始階段,無論是學術(shù)界還是IT行業(yè)對大數(shù)據(jù)的理解各有側(cè)重,尚未形成一套完整的理論體系,因此很難進行精準的定義。根據(jù)維基百科的定義,“大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理、處理的數(shù)據(jù)集合。”筆者則認為,“大數(shù)據(jù)是通過對海量數(shù)據(jù)進行分析,獲得有巨大價值的產(chǎn)品和服務(wù),或深刻的洞見,最終形成變革之力”。
事實上大數(shù)據(jù)不是一個戰(zhàn)場層面的技術(shù)性名詞,而是一個戰(zhàn)略層面上的社會性名詞,并不是其構(gòu)成數(shù)據(jù)的簡單累計,是一個量變到質(zhì)變的產(chǎn)生了飛躍的事物。也就是說,從數(shù)據(jù)到大數(shù)據(jù),其本質(zhì)已經(jīng)發(fā)生了改變,如同對車的定義,并不是發(fā)動機、輪子、油管這些組件的累計。
從本質(zhì)上講,大數(shù)據(jù)是指按照一定的組織結(jié)構(gòu)連接起來的數(shù)據(jù),是非常簡單而且直接的事物,但是從現(xiàn)象上分析,大數(shù)據(jù)所呈現(xiàn)出來的狀態(tài)復雜多樣,這是因為現(xiàn)象是由觀察角度決定的,正如蘇軾在詩里所描述的,“橫看成嶺側(cè)成峰,遠近高低各不同。不識廬山真面目,只緣身在此山中”。
由此可見,大數(shù)據(jù)的核心關(guān)鍵是組織結(jié)構(gòu),而不是構(gòu)成大數(shù)據(jù)的數(shù)據(jù)本身,這個特征類似人工生命之父克里斯· 蘭頓(Chris Langton)對生命的描述,“生命的本質(zhì)在于物質(zhì)的組織形式,而不在于物質(zhì)的本身”,事實上,宇宙模型里的全部事物似乎都遵循這樣的構(gòu)成規(guī)則,結(jié)構(gòu)和節(jié)點上的物質(zhì)。
大數(shù)據(jù)的結(jié)構(gòu)是一個多層次、交織關(guān)聯(lián)的復雜系統(tǒng)結(jié)構(gòu),數(shù)據(jù)是分布在節(jié)點上的構(gòu)成物質(zhì),數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系是由節(jié)點的位置決定的,而不是由數(shù)據(jù)本身來決定。也就是說,不同的數(shù)據(jù)位于同一個節(jié)點時,就可以獲得相同的關(guān)聯(lián)關(guān)系。比如張三在某個縣里政府政權(quán)結(jié)構(gòu)的局長位置,他就獲得了這個節(jié)點位置上的所有關(guān)聯(lián)關(guān)系,如果李四替換了張三,那么李四就獲得了這個位置上的關(guān)聯(lián)關(guān)系,而張三就會失去這個位置上的關(guān)聯(lián)關(guān)系,獲得他新的節(jié)點位置上的關(guān)聯(lián)關(guān)系。
計算機專家對數(shù)據(jù)的劃分來自直觀的經(jīng)驗,分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。這是符合人類社會發(fā)展規(guī)律的,即找到解決當前問題的方法,積累在解決問題的過程中獲得的知識,利用量變產(chǎn)生質(zhì)變的規(guī)律找到革命性的方法,把人類社會推到一個新的高度,然后再開始新的發(fā)展周期。從當前的全球社會現(xiàn)狀來看,人類社會文明正處在發(fā)生重大變革的關(guān)鍵時期,中國似乎將會成為人類新文明的發(fā)源地,因為新文明的創(chuàng)建一定會摧毀當前文明里落后的結(jié)構(gòu)體系,而不是在現(xiàn)有的建筑上粉飾裝修,比如價值體系、道德體系等。
由此可見,不能采用傳統(tǒng)的處理數(shù)據(jù)的方法來處理大數(shù)據(jù),而是要采用哲學的思維對數(shù)據(jù)進行抽象的邏輯描述。在哲學思維里,數(shù)據(jù)只是位于結(jié)構(gòu)節(jié)點上的存在事實,同一個數(shù)據(jù)如果位于不同的節(jié)點,則其對應的關(guān)聯(lián)關(guān)系也是不同的,比如同一個蘋果的數(shù)據(jù),位于保定市節(jié)點和位于青島市節(jié)點位置,其對應的關(guān)聯(lián)關(guān)系是不同的。
按照哲學的模型思維,任何數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù),人們把文件、視頻劃分為非結(jié)構(gòu)化數(shù)據(jù)類,是因為它們本身是由大量數(shù)據(jù)組成的事物,是一個具有復雜結(jié)構(gòu)的事物,而這種復雜性是無法采用當前的結(jié)構(gòu)化技術(shù)(數(shù)據(jù)庫結(jié)構(gòu)等)來描述的,如同地球包含了巖石、樹木、人、馬、羊等各種事物,不能采用描述馬、羊的方式來準確地描述地球。當前的數(shù)據(jù)描述方式是由人們的認知空間尺度決定的,如同霍金提出的金魚缸理論,金魚缸的空間尺度決定了科學家的認知尺度和模式。目前對結(jié)構(gòu)化數(shù)據(jù)的管理基本上是采用二維表格模型,而把不能采用二維表格模型進行存儲管理的數(shù)據(jù)歸類為非結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)是網(wǎng)絡(luò)空間里的構(gòu)成事物,如同物質(zhì)是物理空間里的構(gòu)成事物一樣,但是能否真正達到預期的目標,成為在全球有影響力的數(shù)據(jù)集散地,核心技術(shù)、顛覆性的技術(shù)是關(guān)鍵。
大數(shù)據(jù)競爭中的幾個誤區(qū):
(1)嚴格地講,企業(yè)級的數(shù)據(jù)都不會成為大數(shù)據(jù),無論這個企業(yè)的規(guī)模有多大。這是因為大數(shù)據(jù)是由大量不同類型的數(shù)據(jù)形成的多樣化的生態(tài)應用體系,類似生物圈的食物鏈體系。而企業(yè)的數(shù)據(jù)只是基于滿足少量應用需求而組織起來的數(shù)據(jù),比如google的數(shù)據(jù)管理結(jié)構(gòu)。大數(shù)據(jù)屬于區(qū)域性的社會型數(shù)據(jù),區(qū)域內(nèi)的任何有數(shù)據(jù)需求的企業(yè)、機構(gòu)或者個人,都可以從大數(shù)據(jù)里獲得所需的數(shù)據(jù)。
(2)大數(shù)據(jù)是網(wǎng)絡(luò)空間里的數(shù)據(jù)存在形式,所以在未來的網(wǎng)絡(luò)空間競爭里,大數(shù)據(jù)是最重要也是最殘酷的競爭,統(tǒng)一的大數(shù)據(jù)模型是網(wǎng)絡(luò)空間的發(fā)展目標,如同星系結(jié)構(gòu)模型是物理空間的唯一模型一樣,在不同的觀察尺度里,其結(jié)構(gòu)模型是相似的。
從這個角度講,網(wǎng)絡(luò)空間競爭的焦點之一就是大數(shù)據(jù)模型的建立,這是通過顛覆性的技術(shù)確立模型標準的過程。網(wǎng)絡(luò)空間的主權(quán)共享是指網(wǎng)絡(luò)空間創(chuàng)建完成后的應用資源共享,并不是指共享創(chuàng)建網(wǎng)絡(luò)空間的所有技術(shù)。擁有創(chuàng)建網(wǎng)絡(luò)空間的源頭核心技術(shù),等同于擁有源頭的控制權(quán),相當于擁有修改網(wǎng)絡(luò)空間結(jié)構(gòu)和規(guī)則的權(quán)力。
(3)大數(shù)據(jù)是邏輯過程發(fā)生后的結(jié)果,不是邏輯過程,所以大數(shù)據(jù)本身不是方法論。為大數(shù)據(jù)提供處理方法的是云計算,弄不清楚這個關(guān)系,地方政府就很難對大數(shù)據(jù)產(chǎn)業(yè)進行合理有效的規(guī)劃布局,企業(yè)在發(fā)展過程中也會產(chǎn)生迷茫。
(4)大數(shù)據(jù)里的原始數(shù)據(jù)來源具有多樣性、動態(tài)性、小規(guī)模、碎片化等特征,政府部門或者機構(gòu)、企業(yè)提供的專業(yè)性數(shù)據(jù)盡管數(shù)量龐大,但是也不是真正的大數(shù)據(jù)。