微軟開源用于Spark的深度學習庫MMLSpark
作者：Beining
微軟開源了MMLSpark，用于Apache Spark的的深度學習庫。MMLSpark可以與微軟認知工具包和OpenCV完美整合。雖然SparkML可以建立可擴展的機器學習平臺，絕大多數開發(fā)者的精力都耗在了調用底層API上。MMLSpark旨在簡化PySpark中的重復性工作。
微軟開源了MMLSpark，用于Apache Spark的的深度學習庫。MMLSpark可以與微軟認知工具包和OpenCV完美整合。
微軟發(fā)現，雖然SparkML可以建立可擴展的機器學習平臺，絕大多數開發(fā)者的精力都耗在了調用底層API上。MMLSpark旨在簡化PySpark中的重復性工作。
以UCI的成人收入普查數據集舉例，使用其他項目預測收入：
如果直接使用SparkML，每一列都需要單獨處理，整理為正確的數據類型;在MMLSpark中只需要兩行代碼：
- model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData)
- predictions = model.transform(testData)
深度神經網絡(DNN)在圖像識別和語音識別等領域不遜于人類，但是DNN模型的訓練需要專業(yè)人員方可進行，與SparkML的整合也十分不易。MMLSpark提供了方便的Python API，可以方便地訓練DNN算法。MMLSpark可以方便地使用現有模型進行分類任務、在分布式GPU節(jié)點上進行訓練、以及使用OpenCV建立可擴展的圖像處理管線。
以下3行代碼可以從微軟認知工具集中初始化一個DNN模型，從圖像中抽取特征：
- cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)
- featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])
- model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)
MMLSpark已經發(fā)布到Docker Hub上，使用下面的命令即可在單機部署：
- docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark
MMLSpark使用MIT協議授權。
責任編輯：龐桂玉
來源：
36大數據
