背景

近些年，大數(shù)據(jù)技術在科學和工業(yè)領域的應用引起了業(yè)界的廣泛關注，大數(shù)據(jù)促進社會進步的同時，也帶來很多的問題和挑戰(zhàn)，尤其是大數(shù)據(jù)治理和隱私保護問題。區(qū)塊鏈技術具備去中心化、不可篡改、透明化等特征，在改善大數(shù)據(jù)安全服務方面具有巨大的潛力。在本文中，我們首先為讀者介紹區(qū)塊鏈大數(shù)據(jù)技術概念、特性以及二者結合的動機，接著介紹區(qū)塊鏈大數(shù)據(jù)在工業(yè)界的應用，最后對一些代表性的項目進行分析。

區(qū)塊鏈大數(shù)據(jù)概述

區(qū)塊鏈

隨著比特幣為代表的新型數(shù)字貨幣的快速發(fā)展，作為比特幣底層支撐的區(qū)塊鏈技術引起了人們的關注，區(qū)塊鏈概念首次提出是在比特幣白皮書中[2]。區(qū)塊鏈本質上是一個共享數(shù)據(jù)庫，與傳統(tǒng)的中心化數(shù)據(jù)庫相比，區(qū)塊鏈通過采取分布式數(shù)據(jù)存儲、P2P傳輸、共識機制、加密算法和智能合約等傳統(tǒng)技術，使得區(qū)塊鏈具有去中心化、不可篡改、可溯源、多方維護、公開透明等特點[3]?；谶@些特點，區(qū)塊鏈奠定了堅實的“信任”基礎，創(chuàng)造了可靠的“合作”機制，具有廣闊的運用前景。

大數(shù)據(jù)

大數(shù)據(jù)技術起源于2000年前后互聯(lián)網(wǎng)的高速發(fā)展時期。伴隨著時代背景下的數(shù)據(jù)特征的不斷演變以及數(shù)據(jù)價值釋放需求的不斷增加，大數(shù)據(jù)已逐步演進成針對大數(shù)據(jù)的多重數(shù)據(jù)特征，圍繞數(shù)據(jù)采集、存儲、處理計算，同時配套的數(shù)據(jù)治理、數(shù)據(jù)分析、數(shù)據(jù)安全等助力數(shù)據(jù)價值釋放的周邊技術組合形成的整套技術生態(tài)。如今大數(shù)據(jù)技術已經發(fā)展成覆蓋面龐大的技術體系。圖1展示了大數(shù)據(jù)技術體系圖譜及相關代表性的大數(shù)據(jù)開源軟件。

圖1 大數(shù)據(jù)技術體系及主要開源框架

大數(shù)據(jù)時代，客戶更傾向于在線交易，每天將產生大量的交易信息，累計的數(shù)據(jù)呈指數(shù)增長，為行業(yè)了解客戶的需求、購買模式和客戶趨勢創(chuàng)造了新的機會。大數(shù)據(jù)具有體量大、時效性高、數(shù)據(jù)源異構多樣和價值高等特點。通過大數(shù)據(jù)技術分析各類數(shù)據(jù)信息，將產生巨大的價值，指導國家和企業(yè)決策。大數(shù)據(jù)技術便利人類生活的同時，也帶來了很多的問題與挑戰(zhàn)，如數(shù)據(jù)隱私安全問題，臟數(shù)據(jù)處理、數(shù)據(jù)源可靠性驗證、數(shù)據(jù)共享等。

區(qū)塊鏈、大數(shù)據(jù)結合動機

大數(shù)據(jù)技術在解決當下許多問題方面具有巨大的潛力，目前政府、國私企正大力投資建設部門的大數(shù)據(jù)中心，以此來提高對外的服務質量。區(qū)塊鏈技術具備的很多獨特性質，可以用于解決以上大數(shù)據(jù)面臨的這些挑戰(zhàn)。

區(qū)塊鏈和大數(shù)據(jù)技術結合動機的詳細描述如下：

保障數(shù)據(jù)的安全：區(qū)塊鏈以其不可篡改，可信任何公開透明性，讓更多的數(shù)據(jù)安全流動起來。典型案例是區(qū)塊鏈如何推動大數(shù)據(jù)基因測序，區(qū)塊鏈大數(shù)據(jù)測序利用私鑰限制訪問權限，降低了利用法律限制個人獲取基因數(shù)據(jù)的局限性，并且利用分布式計算資源，高效完成測序任務，區(qū)塊鏈的安全性解決了基因測序的工業(yè)化問題，推動了數(shù)據(jù)的安全流動。

保障數(shù)據(jù)隱私的安全：政府掌握了大量的高密度、高價值數(shù)據(jù)，如人口數(shù)據(jù)、金融數(shù)據(jù)、醫(yī)療數(shù)據(jù)等，正確使用政府數(shù)據(jù)將對整個經濟社會發(fā)展產生不可估量的推動力，開放數(shù)據(jù)是大勢所趨。然而，數(shù)據(jù)開放主要的問題是如何保護個人隱私?；趨^(qū)塊鏈的數(shù)據(jù)脫敏技術能保證數(shù)據(jù)隱私性，為隱私保護下的數(shù)據(jù)開放提供了解決方案。數(shù)據(jù)脫敏技術主要采用哈希處理等加密算法，例如、基于區(qū)塊鏈技術的Enigma系統(tǒng)，在不訪問原始數(shù)據(jù)的情況下進行運算，可以對數(shù)據(jù)的私密性進行保護，杜絕數(shù)據(jù)共享中的隱私安全。

保障數(shù)據(jù)存儲的安全：區(qū)塊鏈網(wǎng)絡中所有節(jié)點參與計算，相互驗證其信息的真?zhèn)我赃_成全網(wǎng)共識。區(qū)塊鏈的數(shù)據(jù)是不可篡改的、記錄歷史的，修改區(qū)塊鏈網(wǎng)絡中的數(shù)據(jù)至少需要修改50%節(jié)點的數(shù)據(jù)，區(qū)塊鏈的不變性確保了存儲在區(qū)塊鏈網(wǎng)絡中的數(shù)據(jù)是可靠的，使得數(shù)據(jù)庫的發(fā)展進入新時代。

保障數(shù)據(jù)完整性：數(shù)據(jù)的訪問者可能會篡改大數(shù)據(jù)中的記錄，從而影響大數(shù)據(jù)分析預測的結果，區(qū)塊鏈技術通過采取多簽名私鑰、加密技術和安全多方計算技術來保障數(shù)據(jù)不完整性。數(shù)據(jù)首先通過哈希計算，放置在區(qū)塊鏈上，再使用數(shù)字簽名技術，一方面使得數(shù)據(jù)僅對授權用戶開放，使用者通過簽名驗證數(shù)據(jù)的完整性。

區(qū)塊鏈大數(shù)據(jù)應用

如圖2所示，通過調查大數(shù)據(jù)環(huán)境下區(qū)塊鏈技術的應用，包括大數(shù)據(jù)的采集、存儲、分析和隱私保護等，區(qū)塊鏈通過共識算法確保數(shù)據(jù)的完整性。接下來重點分析了區(qū)塊鏈大數(shù)據(jù)服務中的兩個子領域應用，區(qū)塊鏈大數(shù)據(jù)收集架構：移動感知(Mobile crowdsensing，MCS)區(qū)塊鏈，區(qū)塊鏈大數(shù)據(jù)傳輸/共享架構：邊緣網(wǎng)絡區(qū)塊鏈。

圖2 大數(shù)據(jù)環(huán)境下區(qū)塊鏈的應用概覽

MCS區(qū)塊鏈

數(shù)據(jù)采集是數(shù)據(jù)處理生命周期中一項非常重要的任務，目前數(shù)據(jù)源和通信鏈路面臨各種惡意攻擊和威脅。因此安全的數(shù)據(jù)收集方法對于各種數(shù)據(jù)至關重要，目前全球已完成了幾項數(shù)據(jù)收集安全的研究工作。例如，基于區(qū)塊鏈的安全大數(shù)據(jù)收集方案被應用到移動感知(Mobile crowdsensing，MCS)項目。隨著移動終端(mobile terminals，MT)和傳感器等便攜式智能移動終端設備的快速增長，MCS已經有效地應用到工業(yè)物聯(lián)網(wǎng)當中，MCS服務器發(fā)布一些與傳感器相關的數(shù)據(jù)集，并選擇特定區(qū)域的MT來完成特定任務。任務的主要挑戰(zhàn)是MT中傳感設備的發(fā)送數(shù)據(jù)范圍以及MT之間數(shù)據(jù)的安全共享。Liu[4]等提出了一個基于區(qū)塊鏈和強化學習(DRL)的框架來克服這些挑戰(zhàn)，每個MT基于分布式區(qū)塊鏈的DRL方法為傳感設備提供了多點發(fā)送功能以及最大傳輸范圍。以太坊區(qū)塊鏈平臺用于保障數(shù)據(jù)的可靠性和安全性，MT進行共享數(shù)據(jù)。以太坊會維護一個安全賬本，并在沒有受信任的第三方情況下與合作的MT共享數(shù)據(jù)，該框架還集成了預防多種攻擊和處理常見的設備故障的功能。

邊緣網(wǎng)絡區(qū)塊鏈

區(qū)塊鏈具有去中心化和不可篡改的特性，能提供大數(shù)據(jù)的安全傳輸，支持可靠數(shù)據(jù)共享。傳輸安全關鍵在于如何解決傳統(tǒng)傳輸協(xié)議中存在的不足，如何防止數(shù)據(jù)被盜、數(shù)據(jù)丟失。目前國內外，有一些研究致力于使用區(qū)塊鏈來支持大數(shù)據(jù)的傳輸和共享，隨著邊緣網(wǎng)絡中數(shù)據(jù)量越來越大，邊緣網(wǎng)絡中敏感數(shù)據(jù)的安全共享是一項具有挑戰(zhàn)的任務，Xu[5]等通過共識算法提高邊緣網(wǎng)絡認證計算的效率。此外，為了減少響應時間和存儲開銷，作者引入了一種基于區(qū)塊鏈的無效事務過濾算法，使得訪問者可以通過緩存層來訪問數(shù)據(jù)。最后作者提出了快速交易和空心快，以提高模型的網(wǎng)絡傳輸效率。應用層如圖3所示，將采集到的數(shù)據(jù)報告、數(shù)據(jù)庫、社交媒體或輔助小工具數(shù)據(jù)添加到帶有簽名和哈希值的區(qū)塊鏈中，采取一致共識算法和無效事務過濾算法進行處理，然后與數(shù)據(jù)分析服務共享區(qū)塊數(shù)據(jù)。實時分析模塊進行數(shù)據(jù)可視化、模式預測，相互協(xié)作保障計算結果的真實可靠。

圖3 區(qū)塊鏈大數(shù)據(jù)安全傳輸/共享架構

小結

區(qū)塊鏈被稱為一種顛覆性的技術、數(shù)字化的分布式賬本、本質上又是一種共享數(shù)據(jù)庫，公開透明的按照順序的記錄比特幣等加密貨幣的交易，具有很多優(yōu)勢。大數(shù)據(jù)是互聯(lián)網(wǎng)時代的產物，區(qū)塊鏈與大數(shù)據(jù)技術的結合成為當下的熱點，在本文中，主要介紹了區(qū)塊鏈和大數(shù)據(jù)的概念以及優(yōu)點，通過現(xiàn)有的相關調查，了解現(xiàn)有研究在區(qū)塊鏈和大數(shù)據(jù)方面的貢獻以及二者結合的動機，討論了目前區(qū)塊鏈大數(shù)據(jù)在工業(yè)界的一些應用，最后對本文進行總結。

參考文獻

[1] Deepa, N., Pham, Q. V., Nguyen, D. C.,Bhattacharya, S., Prabadevi, B., Gadekallu, T. R., ... & Pathirana, P. N.(2022). A survey on blockchain for big data: approaches, opportunities, andfuture directions. Future Generation Computer Systems.

[2] Nakamoto, S. (2008). Bitcoin: Apeer-to-peer electronic cash system. Decentralized Business Review, 21260.

[3] 沈鑫, 裴慶祺, & 劉雪峰. (2016). 區(qū)塊鏈技術綜述. 網(wǎng)絡與信息安全學報, 2(11), 11-20.

[4] Liu, C. H., Lin, Q., & Wen, S.(2018). Blockchain-enabled data collection and sharing for industrial IoT withdeep reinforcement learning. IEEE Transactions on Industrial Informatics,15(6), 3516-3526.

[5] Xu, C., Wang, K., Li, P., Guo, S., Luo,J., Ye, B., & Guo, M. (2018). Making big data open in edges: Aresource-efficient blockchain-based approach. IEEE Transactions on Parallel andDistributed Systems, 30(4), 870-882.