掌握和處理大量數(shù)據(jù)對于IT部門來說是一個挑戰(zhàn)。以下是人工智能(AI)和機器學習如何幫助人們分類、組織和匯總大量信息的方法。

根據(jù)三星公司的調(diào)查，2016年全球互聯(lián)網(wǎng)流量超過了1ZB，即10億兆字節(jié)。這個數(shù)字是巨大的，但這個數(shù)據(jù)量與全球各企業(yè)正在存儲的全部數(shù)據(jù)相比還相差甚遠。

更重要的是，在大多數(shù)公司中，數(shù)據(jù)處在“管理之下”的這個用詞有些不當。

[[197398]]

數(shù)據(jù)管理挑戰(zhàn)的關(guān)鍵領(lǐng)域是：

• 理解暗數(shù)據(jù)
• 數(shù)據(jù)保留
• 實現(xiàn)***分析結(jié)果的數(shù)據(jù)集成
• 數(shù)據(jù)訪問

IT部門在這些領(lǐng)域進行艱苦努力的原因如下：

• 所有類型的輸入數(shù)據(jù)流(其中大部分是非結(jié)構(gòu)化的)太大，無法每天進行管理，因此最終將數(shù)據(jù)放在任何地方。
• 電子發(fā)現(xiàn)和行業(yè)法規(guī)對歷史數(shù)據(jù)的法律和審計流程的要求使得業(yè)務決策者不愿放棄數(shù)據(jù)，最終用戶并不喜歡在年度審查會議上討論數(shù)據(jù)保留政策。
• 數(shù)據(jù)集成是IT部門面臨的最困難的任務之一，像數(shù)據(jù)聚合這樣的概念在分析中發(fā)揮更大的作用才會加強，因此看似不同的數(shù)據(jù)集合可以組合成可搜索的存儲庫，用于新型的業(yè)務查詢。
• 快速訪問數(shù)據(jù)是一種業(yè)務需求，但是高端存儲在現(xiàn)場或云端的價格昂貴，因此一些數(shù)據(jù)必須歸檔到速度更慢，成本更低的存儲空間中。為了解決這些問題，組織管理層將項目的人力物力主要放在了其他重要的目標上。

現(xiàn)在的問題是：機器學習、人工智能(AI)和分析學是否能在數(shù)據(jù)管理方面提供幫助，特別是對于大量非結(jié)構(gòu)化數(shù)據(jù)?

以下是機器學習，人工智能和分析可以在以下幾個方面提供幫助：

(1) 暗數(shù)據(jù)排序

每個企業(yè)系統(tǒng)和每個業(yè)務部門都有一些積累的數(shù)據(jù)，但是人們對此一無所知。通過使用機器學習并結(jié)合其功能與算法，可以解決如何排序和處理存儲在服務器上的不同類型的電子郵件，文檔，圖像等文件，機器學習，人工智能(AI)和分析可以對這個未發(fā)布的數(shù)據(jù)進行處理，而經(jīng)驗豐富，知識淵博的工作人員可以查看和回顧自動化推薦的數(shù)據(jù)分類方案，調(diào)整并執(zhí)行方案。該過程的一部分還可以解決數(shù)據(jù)保留問題，其分析將產(chǎn)生一組可能從文件中清除數(shù)據(jù)的建議。

(2) 決定丟棄哪些數(shù)據(jù)

機器學習，分析和人工智能(AI)可以客觀地識別那些很少使用或從未使用過的數(shù)據(jù)，并建議工作人員將其丟棄，但它并不具備與工作人員相同的識別能力。例如，這些進程可以選擇未訪問五年以上的數(shù)據(jù)或記錄，表明數(shù)據(jù)可能已過時。這樣可以節(jié)省員工的時間來查找這個潛在的過時數(shù)據(jù)，因為現(xiàn)在他們需要做的只是確定是否有任何理由保留它。

(3) 匯總數(shù)據(jù)

當分析開發(fā)人員確定需要聚合查詢的數(shù)據(jù)類型時，他們常常為應用程序生成一個存儲庫，然后從不同的源中提取各種類型的數(shù)據(jù)，以形成一個分析數(shù)據(jù)池。要做到這一點，他們必須開發(fā)集成方法來訪問不同的數(shù)據(jù)源。機器學習可以通過自動開發(fā)數(shù)據(jù)源和應用程序的數(shù)據(jù)存儲庫之間的“映射”，使這種人工過程更加高效。這減少了集成和聚合時間。

(4) 組織數(shù)據(jù)存儲以獲得***訪問

在過去的五年中，由于低成本固態(tài)存儲的發(fā)展，數(shù)據(jù)存儲供應商已經(jīng)在自動化存儲管理方面取得了重大進展。這些技術(shù)進步使IT部門能夠使用“智能”存儲引擎，使用機器學習來查看最常使用哪些類型的數(shù)據(jù)，哪些數(shù)據(jù)很少使用或從不使用。根據(jù)插入到機器算法中的業(yè)務規(guī)則，自動化能夠以快速存儲或慢速存儲來自動存儲數(shù)據(jù)。自動化可以讓存儲管理員不必人工解決存儲優(yōu)化問題。

數(shù)據(jù)管理是一個主要的IT挑戰(zhàn)，在大多數(shù)組織中并沒有很好的解決方案，這是因為隨著數(shù)據(jù)的不斷流入，數(shù)據(jù)管理將會變得更糟。

***信息官，數(shù)據(jù)架構(gòu)師，以及存儲管理者需要向企業(yè)高管強調(diào)這個問題，但數(shù)據(jù)管理項目并不容易通過花費費用來解決。

然而，IT經(jīng)理通過指出數(shù)據(jù)管理的分析時間，以及可以降低人力和存儲成本的價值，至少在與企業(yè)管理者討論如何提高戰(zhàn)略敏捷性并降低運營成本的同時，這將成為一個至關(guān)重要的切入點。