數(shù)字化轉型是千行百業(yè)的必然發(fā)展趨勢，且已經(jīng)進入到了向各行各業(yè)全流程、全環(huán)節(jié)整體滲透的時期。大數(shù)據(jù)和人工智能深度融合，即數(shù)智融合，成為了企業(yè)數(shù)字化轉型歷程中最核心、最重要的能力。

數(shù)智融合，顧名思義，其關鍵因素是大數(shù)據(jù)技術和機器學習技術。大數(shù)據(jù)技術所提供的能力是機器學習建模所需要的必然基礎。同時，機器學習也能夠為大數(shù)據(jù)技術提供更高的智能，為商業(yè)業(yè)務產(chǎn)生價值。所以從用戶邏輯來看，大數(shù)據(jù)技術和機器學習技術本身互為因果。

眾多企業(yè)在利用數(shù)智融合加速驅動企業(yè)創(chuàng)新的過程中，面臨著一系列的挑戰(zhàn)。亞馬遜云科技依據(jù)多年的企業(yè)服務經(jīng)驗，將這些挑戰(zhàn)總結為以下三點：

第一， 數(shù)據(jù)和機器學習分而治之，數(shù)據(jù)及技術孤島制約敏捷迭代；

第二， 數(shù)據(jù)處理能力不足。在生產(chǎn)制造企業(yè)，機器學習幫助客戶對產(chǎn)品售后維修需求進行預測，由被動響應變?yōu)橹鲃右?guī)劃。但由于不具備足夠的大數(shù)據(jù)處理能力，模型開發(fā)成功后，不能夠有效收集處理海量的運營數(shù)據(jù)，致使預測不準確，無法達到預期業(yè)務目標；

第三， 數(shù)據(jù)分析人員參與度低?，F(xiàn)實情況經(jīng)常是，模型在實驗環(huán)節(jié)效果良好，但實際使用中卻不盡人意，實驗環(huán)境只是對真實環(huán)境的簡單模擬，生產(chǎn)環(huán)境要復雜得多。

針對以上挑戰(zhàn)，亞馬遜云科技認為，企業(yè)應當在云中打造統(tǒng)一的數(shù)據(jù)基礎底座，來實現(xiàn)大數(shù)據(jù)和機器學習的雙劍合璧，為企業(yè)發(fā)展提供新動力。具體來說，企業(yè)應當首先建立統(tǒng)一融合的治理底座，如數(shù)據(jù)質量、數(shù)據(jù)權限、數(shù)據(jù)開發(fā)、數(shù)據(jù)工作流、可視化。其次，大數(shù)據(jù)和機器學習之間應該是高效充分的雙向互動，互為支撐，互為因果，形成正向循環(huán)。

實現(xiàn)數(shù)智融合所需的三大核心能力

為了實現(xiàn)數(shù)智融合，企業(yè)需要構建若干核心能力。亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建將其總結為三點。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

首先是統(tǒng)一數(shù)據(jù)共享，讓數(shù)據(jù)資產(chǎn)化，打破數(shù)據(jù)孤島。一個好的、合理的大數(shù)據(jù)和機器學習融合架構，要建立一個統(tǒng)一融合的數(shù)據(jù)底座，包括數(shù)據(jù)質量、權限、開發(fā)、可視化。其中，大數(shù)據(jù)和機器學習這兩個技術不是孤立的，要實現(xiàn)二者高效、充分、雙向互動，才能形成雙向循環(huán)，真正實現(xiàn)數(shù)據(jù)融合。要實現(xiàn)這樣的目標，必須要做好三項工作：一是打造統(tǒng)一融合的治理底座，避免大數(shù)據(jù)和AI為了同樣的底座做重復的事情，增加復雜度，浪費資源成本。二是建立一個統(tǒng)一的數(shù)據(jù)采集的標準，統(tǒng)一的數(shù)據(jù)存儲標準，質量權衡標準，能夠讓數(shù)據(jù)在不同系統(tǒng)間流動。如果只做數(shù)據(jù)打通，而不做完善的細粒度的權限控制，開發(fā)團隊也不能放心的讓數(shù)據(jù)自由地在不同業(yè)務系統(tǒng)間進行流轉。三是統(tǒng)一開發(fā)和流程編排，從用戶的角度來說，從數(shù)據(jù)采集的時刻開始到最后算法落地，為業(yè)務所用，端到端的開發(fā)流程編排必須都是統(tǒng)一的。

第二，為機器學習提供生產(chǎn)級的數(shù)據(jù)處理能力。一個算法要從實驗走向實踐，最關鍵的一步是數(shù)據(jù)處理能力，因為只有具備海量的數(shù)據(jù)處理能力，才能把算法真正打磨成生產(chǎn)級別的，對業(yè)務可用的算法。要具備這樣的能力，首先要做的是“開放”，因為現(xiàn)實環(huán)境中，大部分數(shù)據(jù)都是異構的、多元的。底層大數(shù)據(jù)平臺要能夠對這些多元和異構的數(shù)據(jù)進行處理，因此，開放的引擎必不可少。其次，還需要靈活的平臺，不僅能實現(xiàn)對海量數(shù)據(jù)的處理，同時為了滿足生產(chǎn)的需求，能夠根據(jù)業(yè)務的負載進行靈活的底層資源的收縮，即所謂云的彈性能力。三是需要優(yōu)化的數(shù)據(jù)質量，除了算法本身要優(yōu)化，還需要通過大數(shù)據(jù)的技術，進行采集、清洗、查詢等能力，為機器學習提供高質量的數(shù)據(jù)源。

第三，能夠通過智能數(shù)據(jù)分析，統(tǒng)一技術和業(yè)務的價值。這意味著研發(fā)和業(yè)務并不是兩個割裂的，而是合作關系。AI機器學習能夠豐富智能分析的場景，通過AI和機器學習可以更好發(fā)揮數(shù)據(jù)的價值。比如互聯(lián)網(wǎng)用戶推薦系統(tǒng)的用戶畫像，通過機器學習可以從表面原始的業(yè)務數(shù)據(jù)抽象出用戶的標簽和畫像，供業(yè)務使用。很多企業(yè)的現(xiàn)狀是，作為業(yè)務人員（使用者），很難真正影響到算法的開發(fā)。如何使業(yè)務人員能夠通過自己平時使用的可視化工具，方便的調用算法能力，通過數(shù)據(jù)反向檢驗一下算法的效果，將極大提高智能數(shù)據(jù)分析的效率。更進一步，如果系統(tǒng)能力再強大一些，即使業(yè)務人員不懂算法，不會寫代碼，但是有數(shù)據(jù)和需求，就可以自己訓練算法，而不是通過研發(fā)才能訓練算法，這樣效率就會更高了。

“云、數(shù)、智三位一體”的亞馬遜云科技數(shù)智融合服務

針對以上挑戰(zhàn)，亞馬遜云科技推出了“云、數(shù)、智三位一體”的數(shù)智融合服務，幫助全球數(shù)十萬的用戶通過利用大數(shù)據(jù)和AI技術助力業(yè)務發(fā)展。

首先，亞馬遜云科技能幫助客戶構建統(tǒng)一的數(shù)據(jù)治理底座，實現(xiàn)大數(shù)據(jù)和機器學習的數(shù)據(jù)共享，數(shù)據(jù)權限的統(tǒng)一管控，以及兩者統(tǒng)一的開發(fā)和流程編排。Amazon Lake Formation推出諸多新功能，實現(xiàn)了數(shù)據(jù)網(wǎng)格跨部門的數(shù)據(jù)資產(chǎn)共享，以及基于單元格的最細粒度的權限控制機制。Amazon SageMaker Studio可一站式地完成數(shù)據(jù)開發(fā)、模型開發(fā)及相關的生產(chǎn)任務，該服務基于多種專門構建的服務，如交互式查詢服務Amazon Athena、云上大數(shù)據(jù)平臺Amazon Elastic MapReduce （Amazon EMR）、云數(shù)據(jù)倉庫服務Amazon Redshift、Amazon SageMaker等，為大數(shù)據(jù)和機器學習提供統(tǒng)一的開發(fā)平臺。

第二，機器學習項目成功的關鍵是對復雜的數(shù)據(jù)進行加工和準備。Amazon Athena能夠對支持多種開源框架的大數(shù)據(jù)平臺，包括Amazon EMR、高性能關系數(shù)據(jù)庫Amazon Aurora、NoSQL數(shù)據(jù)庫服務Amazon DynamoDB、Amazon Redshift等多種數(shù)據(jù)源，對這些數(shù)據(jù)源進行聯(lián)邦查詢，快速完成機器學習建模的數(shù)據(jù)加工。 以Amazon Redshift、Amazon Managed Streaming for Apache Kafka （Amazon MSK）和 Amazon EMR 為代表的無服務器分析能力，可以讓客戶無需配置、擴展或管理底層基礎設施，即可輕松地處理任何規(guī)模的數(shù)據(jù)，為機器學習項目提供兼具性能和成本效益的特征數(shù)據(jù)準備。

第三，亞馬遜云科技不斷提供更加智能的數(shù)據(jù)分析服務，賦能業(yè)務人員進行智能分析、模型效果驗證以及自主式創(chuàng)新。例如，在日常分析工具中集成機器學習模型預測能力，其中深度集成機器學習Amazon SageMaker模型預測能力的Amazon QuickSight 、在分析結果中添加基于模型預測的Amazon Athena ML，可幫助用戶使用熟悉的技術，甚至通過自然語言來使用機器學習。亞馬遜云科技還提供如Amazon Redshift ML、可視數(shù)據(jù)準備工具Amazon Glue DataBrew、零代碼化的機器學習模型工具 Amazon SageMaker Canvas等服務，讓業(yè)務人員探索機器學習建模。

亞馬遜云科技大中華區(qū)產(chǎn)品部技術專家團隊總監(jiān)王曉野表示，機器學習和大數(shù)據(jù)的融合不僅僅是技術能解決的問題，亞馬遜云科技也堅持“授人以漁”，通過面向快速算法原型的數(shù)據(jù)實驗室的應用科學家、面向生產(chǎn)精度可用的模型訓練指導的機器學習解決方案實驗室，以及提供端到端咨詢及交付的專業(yè)服務團隊，通過不同分工的專家，和客戶肩并肩一起，幫助客戶探索機器學習與大數(shù)據(jù)融合挑戰(zhàn)時，共同學習優(yōu)秀的企業(yè)在數(shù)據(jù)驅動轉型成功路上寶貴的經(jīng)驗。