譯者 | 布加迪

審校 | 重樓

使用這些框架可以?xún)?yōu)化內(nèi)存和計(jì)算資源，擴(kuò)展你的機(jī)器學(xué)習(xí)工作流程，加快流程速度并降低總體成本。

分布式機(jī)器學(xué)習(xí)（DML）框架使你能夠跨多臺(tái)機(jī)器（使用 CPU、GPU 或 TPU）訓(xùn)練機(jī)器學(xué)習(xí)模型，從而大大縮短訓(xùn)練時(shí)間，同時(shí)高效處理原本內(nèi)存無(wú)法容納的大型復(fù)雜工作負(fù)載。此外，這些框架還允許你處理數(shù)據(jù)集、調(diào)整模型，甚至使用分布式計(jì)算資源來(lái)給模型提供服務(wù)。

我們?cè)诒疚闹袑⒔榻B五種最流行的分布式機(jī)器學(xué)習(xí)框架，它們可以幫助我們擴(kuò)展機(jī)器學(xué)習(xí)工作流程。每個(gè)框架都針對(duì)你的特定項(xiàng)目需求提供不同的解決方案。

1. PyTorch Distributed

PyTorch因其動(dòng)態(tài)計(jì)算圖、易用性和模塊化，在機(jī)器學(xué)習(xí)從業(yè)者中廣受歡迎。PyTorch框架包含PyTorch Distributed，它有助于跨多個(gè)GPU和節(jié)點(diǎn)擴(kuò)展深度學(xué)習(xí)模型。

主要特性

• 分布式數(shù)據(jù)并行（DDP）：PyTorch的torch.nn.parallel.DistributedDataParallel函數(shù)允許通過(guò)高效地分割數(shù)據(jù)和同步梯度，跨多個(gè)GPU或節(jié)點(diǎn)訓(xùn)練模型。
• TorchElastic和容錯(cuò)能力：PyTorch Distributed使用TorchElastic支持動(dòng)態(tài)資源分配和容錯(cuò)訓(xùn)練。
• 可擴(kuò)展性：PyTorch在小型集群和大型超級(jí)計(jì)算機(jī)上均能出色運(yùn)行，使其成為適合分布式訓(xùn)練的多功能選擇。
• 易用性：PyTorch直觀的API允許開(kāi)發(fā)者在對(duì)現(xiàn)有代碼進(jìn)行少量更改的情況下擴(kuò)展其工作流程。

為什么選擇 PyTorch Distributed？

PyTorch非常適合已經(jīng)使用PyTorch進(jìn)行模型開(kāi)發(fā)并希望增強(qiáng)工作流程的團(tuán)隊(duì)。只需要幾行代碼，即可輕松將訓(xùn)練腳本轉(zhuǎn)換成可以使用多塊GPU。

2. TensorFlow Distributed

TensorFlow是最成熟的機(jī)器學(xué)習(xí)框架之一，它通過(guò)TensorFlow Distributed為分布式訓(xùn)練提供強(qiáng)大的支持。它能夠跨多臺(tái)機(jī)器和GPU高效擴(kuò)展，是大規(guī)模訓(xùn)練深度學(xué)習(xí)模型的首選。

主要特性

• tf.distribute.Strategy：TensorFlow提供多種分布式策略，比如用于多GPU訓(xùn)練的 MirroredStrategy、用于多節(jié)點(diǎn)訓(xùn)練的MultiWorkerMirroredStrategy 以及用于基于TPU訓(xùn)練的TPUStrategy。
• 易于集成：TensorFlow Distributed可與TensorFlow的生態(tài)系統(tǒng)無(wú)縫集成，包括TensorBoard、TensorFlow Hub和TensorFlow Serving。
• 高度可擴(kuò)展：TensorFlow Distributed 可以跨擁有數(shù)百個(gè)GPU或TPU的大型集群進(jìn)行擴(kuò)展。
• 云集成：TensorFlow得到了谷歌云、AWS和Azure等云服務(wù)提供商的大力支持，讓你能夠輕松地在云端運(yùn)行分布式訓(xùn)練作業(yè)。

為什么選擇 TensorFlow Distributed？

如果團(tuán)隊(duì)已經(jīng)在使用TensorFlow或?qū)で蟾叨瓤蓴U(kuò)展且能夠與云端機(jī)器學(xué)習(xí)工作流程良好集成的解決方案，TensorFlow Distributed是絕佳的選擇。

3. Ray

Ray是一種通用分布式計(jì)算框架，針對(duì)機(jī)器學(xué)習(xí)和AI工作負(fù)載進(jìn)行了優(yōu)化。它通過(guò)提供用于訓(xùn)練、調(diào)優(yōu)和服務(wù)模型的專(zhuān)用庫(kù)，簡(jiǎn)化了構(gòu)建分布式機(jī)器學(xué)習(xí)管道的工作。

主要特性

• Ray Train：一個(gè)用于分布式模型訓(xùn)練的庫(kù)，可與PyTorch和TensorFlow等流行的機(jī)器學(xué)習(xí)框架配合使用。
• Ray Tune：針對(duì)跨多個(gè)節(jié)點(diǎn)或GPU的分布式超參數(shù)調(diào)優(yōu)進(jìn)行了優(yōu)化。
• Ray Serve：用于生產(chǎn)機(jī)器學(xué)習(xí)管道的可擴(kuò)展模型服務(wù)。
• 動(dòng)態(tài)擴(kuò)展：Ray可以動(dòng)態(tài)地為工作負(fù)載分配資源，使其在小型和大型分布式計(jì)算中都保持高效。

為什么選擇 Ray？

如果AI 和機(jī)器學(xué)習(xí)開(kāi)發(fā)者尋求一種支持各個(gè)層面分布式計(jì)算（包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型調(diào)優(yōu)和模型服務(wù)）的現(xiàn)代框架，Ray是絕佳的選擇。

4. Apache Spark

Apache Spark是一種成熟的開(kāi)源分布式計(jì)算框架，專(zhuān)注于大規(guī)模數(shù)據(jù)處理。它包含MLlib，這是支持分布式機(jī)器學(xué)習(xí)算法和工作流程的庫(kù)。

主要特性

• 內(nèi)存中處理：與傳統(tǒng)的批處理系統(tǒng)相比，Spark的內(nèi)存中計(jì)算改進(jìn)了速度。
• MLlib：提供了機(jī)器學(xué)習(xí)算法（比如回歸、聚類(lèi)和分類(lèi)）的分布式實(shí)現(xiàn)。
• 與大數(shù)據(jù)生態(tài)系統(tǒng)集成：Spark可以與Hadoop、Hive以及Amazon S3等云存儲(chǔ)系統(tǒng)無(wú)縫集成。
• 可擴(kuò)展性：Spark可以擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)，讓你高效處理PB 級(jí)數(shù)據(jù)。

為什么選擇Apache Spark？

如果你正在處理大規(guī)模結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，并且需要一種全面的數(shù)據(jù)處理和機(jī)器學(xué)習(xí)框架，那么Spark是絕佳的選擇。

5. Dask

Dask是一種輕量級(jí)的Python原生分布式計(jì)算框架。它擴(kuò)展了Pandas、NumPy和Scikit-learn等流行的Python庫(kù)，使其能夠處理內(nèi)存容納不下的數(shù)據(jù)集，對(duì)于希望擴(kuò)展現(xiàn)有工作流程的Python開(kāi)發(fā)者來(lái)說(shuō)，它是絕佳選擇。

主要特性

• 易于擴(kuò)展的Python工作流程：Dask可以并行化Python代碼，并以極少的代碼更改將其擴(kuò)展到多個(gè)核心或節(jié)點(diǎn)。
• 與Python庫(kù)集成：Dask可以與Scikit-learn、XGBoost和TensorFlow等常用機(jī)器學(xué)習(xí)庫(kù)無(wú)縫協(xié)作。
• 動(dòng)態(tài)任務(wù)調(diào)度：Dask使用動(dòng)態(tài)任務(wù)圖來(lái)優(yōu)化資源分配并提高效率。
• 靈活擴(kuò)展：Dask可以將內(nèi)存裝不下的數(shù)據(jù)集分解成易于管理的小塊，從而處理這些數(shù)據(jù)集。

為什么選擇Dask？

對(duì)于希望使用靈活的輕量級(jí)框架來(lái)擴(kuò)展現(xiàn)有工作流程的Python開(kāi)發(fā)者來(lái)說(shuō)，Dask是理想之選。它與Python庫(kù)集成讓原本熟悉Python生態(tài)系統(tǒng)的團(tuán)隊(duì)很容易上手。

比較表

總結(jié)

我使用過(guò)本文中提到的幾乎所有分布式計(jì)算框架，但我主要使用PyTorch和TensorFlow 進(jìn)行深度學(xué)習(xí)。這些框架只需幾行代碼，就能非常輕松地跨多個(gè)GPU擴(kuò)展模型訓(xùn)練。

我個(gè)人更喜歡PyTorch，因?yàn)樗?/span>API直觀易用，而且我對(duì)它比較熟悉。所以，我認(rèn)為沒(méi)有必要換成新的框架。對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)工作流程，我依賴(lài)Dask，因?yàn)樗p量級(jí)，且采用Python原生方法。

• PyTorch Distributed和TensorFlow Distributed：最適合大規(guī)模深度學(xué)習(xí)工作負(fù)載，尤其是在你已經(jīng)在使用這些框架的情況下。
• Ray：非常適合構(gòu)建采用分布式計(jì)算的現(xiàn)代機(jī)器學(xué)習(xí)管道。
• Apache Spark：大數(shù)據(jù)環(huán)境中分布式機(jī)器學(xué)習(xí)工作流程的首選解決方案。
• Dask：對(duì)于希望高效擴(kuò)展現(xiàn)有工作流程的Python開(kāi)發(fā)者來(lái)說(shuō)，它是一種輕量級(jí)選擇。

原文標(biāo)題：Top 5 Frameworks for Distributed Machine Learning，作者：Abid Ali Awan