DataOps平臺的真正價(jià)值，只有在業(yè)務(wù)用戶和應(yīng)用程序能夠從各種數(shù)據(jù)源來訪問原始數(shù)據(jù)和聚合數(shù)據(jù)，并且及時(shí)地產(chǎn)生數(shù)據(jù)驅(qū)動(dòng)的認(rèn)識時(shí)，才能夠?qū)崿F(xiàn)。利用機(jī)器學(xué)習(xí)（Machine Learning），分析師和數(shù)據(jù)科學(xué)家可以利用歷史數(shù)據(jù)，以及實(shí)時(shí)地使用類似TensorFlow(TF)這樣的技術(shù)，以做出更好的數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的線下決策。

在本文中，你將學(xué)習(xí)如何利用TensorFlow模型在StreamSets Data Collector3.5.0和StreamSets Data Collector Edge中發(fā)布的TensorFlow Evaluator*進(jìn)行預(yù)測和分類。

在深入討論細(xì)節(jié)之前，我們來看一些基本概念。

機(jī)器學(xué)習(xí)（Machine Learning）

亞瑟·塞繆爾把它描述為：“不需要明確地編寫程序而使計(jì)算機(jī)有能力學(xué)習(xí)的研究領(lǐng)域。”隨著機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展，計(jì)算機(jī)現(xiàn)在有能力做出預(yù)測，甚至比人類做的還要好，并且感覺可以解決任何問題。讓我們先回顧一下機(jī)器學(xué)習(xí)都解決了什么樣的問題吧。

通常來說，機(jī)器學(xué)習(xí)被分為兩大類：

監(jiān)督學(xué)習(xí)（Supervised Learning）

“監(jiān)督學(xué)習(xí)是學(xué)習(xí)一個(gè)函數(shù)的機(jī)器學(xué)習(xí)任務(wù)，該函數(shù)基于輸入-輸出的實(shí)例，將輸入映射到輸出。”—維基百科（Wikipedia）。

它涉及到構(gòu)建一個(gè)精準(zhǔn)的模型，當(dāng)歷史數(shù)據(jù)被標(biāo)記為一些結(jié)果的時(shí)候，模型就可以預(yù)測出結(jié)果了。

用監(jiān)督學(xué)習(xí)解決的常見業(yè)務(wù)問題：

• 二元分類（學(xué)習(xí)預(yù)測一個(gè)分類值）
• - 顧客會購買一個(gè)特定產(chǎn)品嗎？
• - 癌癥是惡性的還是良性的？
• 多級分類（學(xué)習(xí)預(yù)測一個(gè)分類值)
• - 給定的一段文本是否帶有病毒、恐嚇或淫穢內(nèi)容？
• - 這是山鳶尾、藍(lán)旗鳶尾還是北美鳶尾的物種？
• 回歸（學(xué)習(xí)預(yù)測一個(gè)連續(xù)值)
• - 一個(gè)代售房子的預(yù)測價(jià)格是多少？
• - 明天舊金山的氣溫是多少？

無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)允許我們在知道很少，或是完全不知道輸出應(yīng)該是什么樣子的情況下處理問題。它涉及在之前數(shù)據(jù)上的標(biāo)簽是不可用的情況下創(chuàng)建模型。在這類的問題中，通過對基于數(shù)據(jù)中變量之間的關(guān)系進(jìn)行數(shù)據(jù)聚類來導(dǎo)出結(jié)構(gòu)。

無監(jiān)督學(xué)習(xí)的兩種常見方法是K-均值聚類（K-means clustering）和DBSCAN。

注意：Data Collector和Data Collector Edge中的TensorFlow Evaluator目前僅支持監(jiān)督學(xué)習(xí)模型。

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)算法的一種，可以學(xué)習(xí)和使用受人腦結(jié)構(gòu)啟發(fā)而來的計(jì)算模型。與其它機(jī)器學(xué)習(xí)算法，如決策樹、邏輯回歸等相比，神經(jīng)網(wǎng)絡(luò)具有較高的準(zhǔn)確性。

Andrew Ng在傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的背景下對深度學(xué)習(xí)進(jìn)行了描述。在題為“深度學(xué)習(xí)、自我學(xué)習(xí)與無監(jiān)督特征學(xué)習(xí)”的演講中，他把深度學(xué)習(xí)的思想描述為：

“利用了大腦結(jié)構(gòu)的模仿, 希望：

- 讓學(xué)習(xí)算法更好地、更容易地使用；

- 在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域取得革命性的進(jìn)展；

我相信這是我們朝著真正的人工智能前進(jìn)的辦法。”

常見的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)應(yīng)用包括：

• 計(jì)算機(jī)視覺/圖像識別/目標(biāo)檢測
• 語言識別/自然語言處理（NLP）
• 推薦系統(tǒng)（產(chǎn)品、婚介等）
• 異常檢測（網(wǎng)絡(luò)安全等）

TensorFlow

TensorFlow是為深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的開源機(jī)器學(xué)習(xí)框架，由Google Brain Team開發(fā)的。TensorFlow支持在Windows和Mac操作系統(tǒng)上的可伸縮和便攜式的訓(xùn)練，包括CPU、GPU和TPU。迄今為止，它是GitHub上流行的和最活躍的機(jī)器學(xué)習(xí)項(xiàng)目。

Data Collector中的TensorFlow

隨著TensorFlow Evaluator的引入，你現(xiàn)在能夠創(chuàng)建管道（pipelines），以獲取數(shù)據(jù)或特征，并在一個(gè)可控的環(huán)境中生成預(yù)測結(jié)果或分類，而不必發(fā)起對作為Web服務(wù)而提供和公布的機(jī)器學(xué)習(xí)模型的HTTP或REST API的調(diào)用。例如，Data Collector管道現(xiàn)在可以實(shí)時(shí)地檢測欺詐交易或在文本上執(zhí)行自然語言處理，因?yàn)閿?shù)據(jù)在被存儲到最終目的地之前，為了進(jìn)一步的處理或做決策，正在經(jīng)過各個(gè)階段。

另外，使用Data Collector Edge，你可以在Raspberry Pi和其它運(yùn)行在所支持的平臺上的設(shè)備上運(yùn)行已經(jīng)啟用了的TensorFlow機(jī)器學(xué)習(xí)管道。例如，在高風(fēng)險(xiǎn)地區(qū)檢測洪水等自然災(zāi)害發(fā)生的概率，以防止對人們財(cái)產(chǎn)的破壞。

乳腺癌分類

讓我們考慮將乳腺癌腫瘤分類成惡性還是良性的例子。乳腺癌是一個(gè)經(jīng)典的數(shù)據(jù)集，可以作為scikit-learn的一部分。要了解如何在Python中使用該數(shù)據(jù)集訓(xùn)練和導(dǎo)出一個(gè)簡單的TensorFlow模型，請查看我在GitHub上的代碼。正如你將要看到的那樣，模型創(chuàng)建和訓(xùn)練被保持在最小范圍，并且非常簡單，只有幾個(gè)隱藏層。最需要注意的重要方面是如何使用TensorFlow SavedModelBuilder*來導(dǎo)出和保存模型。

*注意：要在Data Collector或Data Collector Edge中使用TensorFlow模型，首先應(yīng)該在你選擇支持的開發(fā)語言里，如Python，和交互式環(huán)境中，如Jupiter Notebook，使用TensorFlow的SavedModelBuilder導(dǎo)出和保存模型。

一旦使用TensorFlow的SavedModelBuilder訓(xùn)練并導(dǎo)出了模型，那么在數(shù)據(jù)流管道中使用它進(jìn)行預(yù)測或分類就非常簡單了 — 只要模型保存在Data Collector或Data Collector Edge可訪問的位置上即可。

管道概述

在深入了解細(xì)節(jié)之前，可以看下管道是什么樣的：

管道細(xì)節(jié)

• 目錄源:
• - 這將從.csv文件中加載乳腺癌的記錄數(shù)據(jù)（注意：這個(gè)輸入數(shù)據(jù)源可以非常簡單地替換為其它的來源，包括Kafka、AWS S3、MySQL等等）；
• 字段轉(zhuǎn)換器:
• - 這個(gè)處理器將轉(zhuǎn)換供模型所使用的所有輸入的乳腺癌記錄特征數(shù)據(jù)，從String類型轉(zhuǎn)換到Float類型

(mean_radius,mean_texture,mean_perimeter,mean_area,mean_smoothness,mean_compactness,mean_concavity,mean_concave_points,mean_symmetry,mean_fractal_dimension,radius_error,texture_error,perimeter_error,area_error,smoothness_error,compactness_error,concavity_error,concave_points_error,symmetry_error,fractal_dimension_error,worst_radius,worst_texture,worst_perimeter,worst_area,worst_smoothness,worst_compactness,worst_concavity,worst_concave_points,worst_symmetry,worst_fractal_dimension) ； 

• TensorFlow Evaluator*:
• - 模型的保存路徑：指定要使用的預(yù)訓(xùn)練的TensorFlow模型的位置；
• - 模型標(biāo)簽：設(shè)置為“serve”，因?yàn)樵獔D（在我們導(dǎo)出的模型中）要用于服務(wù)中。有關(guān)詳細(xì)信息，請參見tag_constants.py和相關(guān)的TensorFlow API documentation；
• - 輸入配置：指定在訓(xùn)練和導(dǎo)出模型期間配置的輸入張量信息（請見Train model and save/export it using TensorFlow SavedModelBuilder部分）；
• - 輸出配置：指定在訓(xùn)練和導(dǎo)出模型期間配置的輸出張量信息（請見Train model and save/export it using TensorFlow SavedModelBuilder部分)；
• - 輸出字段：我們想保存分類值的輸出記錄字段；
• Expression Evaluator:
• -該處理器評估模型輸出或分類值為0或1(存儲在輸出的字段TF_Model_Classification之中) ，并用Benign或Malignantrespectively這兩個(gè)值創(chuàng)建一個(gè)新的記錄字段“Condition”；
• Stream Selector:
• - 該處理器評估癌癥狀況（良性或惡性）并發(fā)送記錄到各自的Kafka生產(chǎn)者；
• Kafka Producers:
• - 輸入記錄以及模型的輸出或者分類值被有條件地發(fā)送給兩個(gè)Kafka生產(chǎn)者以獲得進(jìn)一步地處理和分析；

*TensorFlow Evaluator配置

注意：一旦TensorFlow Evaluator產(chǎn)生了模型輸出結(jié)果，本實(shí)例中采用的管道階段是可選的，并且可以根據(jù)用例的需要與其它處理器和目標(biāo)進(jìn)行互換。

管道執(zhí)行

在預(yù)覽管道上，乳腺癌數(shù)據(jù)記錄的輸入通過了上面所述的數(shù)據(jù)流管道過程，包括服務(wù)于我們的TensorFlow模型。發(fā)送給Kafka生產(chǎn)者的最終輸出記錄數(shù)據(jù)（如上所示）包括用于分類的模型所使用的乳腺癌特征，在用戶定義的字段TF_Model_Classification中模型輸出值為0或1，以及由Expression Evaluator創(chuàng)建的Condition字段中表示相應(yīng)的癌癥狀況是良性或惡性。

總結(jié)

本文說明了在Data Collector 3.5.0中使用新發(fā)布的TensorFlow Evaluator。一般來說，這個(gè)評估器將允許你提供預(yù)訓(xùn)練的TensorFlow模型，用于生成預(yù)測結(jié)果和分類結(jié)果，而無需編寫任何自己的代碼。