近日，Intel 開源了 BigDL，這是一個基于 Apache Spark 的分布式深度學習庫。使用 BigDL ，用戶可以將他們的深度學習應用程序作為標準的 Spark 程序，它可以直接運行在現(xiàn)有的 Spark 或 Hadoop 集群之上。

[[181316]]

特性：

• 豐富的深度學習支持。BigDL 模仿 Torch，提供對深度學習的全方位支持，包括數(shù)值計算(通過Tensor)和高層次神經(jīng)網(wǎng)絡。此外，用戶可以使用 BigDL 將預訓練的 Caffe 或 Torch 模型加載到 Spark 程序中。
• 極其高的性能。為了達到高性能，BigDL 在每個 Spark 任務中使用 Intel MKL和多線程編程。因此，它比單節(jié)點 Xeon 上的開箱即用的 Caffe、Torch 或 TensorFlow 快幾個數(shù)量級。
• 有效地橫向擴展。 BigDL 可以通過利用 Apache Spark 以及高效實施同步 SGD， 全面減少 Spark 上的通信，有效地向外擴展，以“大數(shù)據(jù)規(guī)模”執(zhí)行數(shù)據(jù)分析。

使用場景：

• 你想要在在大數(shù)據(jù)云(Hadoop/Spark)分析(存儲在如 HDFS、HBase、Hive上的)海量數(shù)據(jù)。
• 你想向你的大數(shù)據(jù)(Spark)程序和/或工作流添加深度學習功能(訓練或者預測)。
• 你想利用已有的 Hadoop/Spark 集群來運行深度學習程序，然后可以與其他工作負載動態(tài)共享(例如，ETL、數(shù)據(jù)倉庫、功能引擎、經(jīng)典機器學習、圖像分析等)。