譯者 | 布加迪

審校 | 重樓

CuPy簡介

CuPy是一個Python庫，與NumPy和SciPy數(shù)組兼容，為GPU加速計算而設(shè)計。通過將NumPy換成CuPy語法，您可以在英偉達CUDA或AMD ROCm平臺上運行代碼。這讓您可以使用GPU加速執(zhí)行與數(shù)組相關(guān)的任務(wù)，從而更快地處理更龐大的數(shù)組。

只需換掉幾行代碼，就可以利用GPU的大規(guī)模并行處理能力來顯著加快索引、規(guī)范化和矩陣乘法等數(shù)組操作。

CuPy還支持訪問低級CUDA功能。它允許使用RawKernels將ndarray傳遞給現(xiàn)有的CUDA C/ C++程序，借助Streams簡化性能，并允許直接調(diào)用CUDA Runtime API。

安裝CuPy

您可以使用pip安裝CuPy，但在此之前，您必須使用以下命令找到正確的CUDA版本。

!nvcc --version

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Sep_21_10:33:58_PDT_2022
Cuda compilation tools, release 11.8, V11.8.89
Build cuda_11.8.r11.8/compiler.31833905_0

谷歌Colab的當(dāng)前版本似乎使用CUDA版本11.8。因此，我們將繼續(xù)安裝cupy-cuda11x版本。

如果您使用較舊的CUDA版本，我提供了下面的表格來幫助您確定要安裝的合適的CuPy軟件包。

選擇正確的版本后，我們將使用pip安裝Python軟件包。

pip install cupy-cuda11x

如果您已安裝了Anaconda，還可以使用conda命令自動檢測并安裝CuPy軟件包的正確版本。

conda install -c conda-forge cupy

CuPy基礎(chǔ)知識

在本節(jié)中，我們將比較CuPy和Numpy的語法，它們相似度為95%。您不是使用np，而是用cp代替它。

我們將先使用Python列表創(chuàng)建NumPy和CuPy數(shù)組。之后，我們將計算向量的范數(shù)。

import cupy as cp
import numpy as np

x = [3, 4, 5]

x_np = np.array(x)
x_cp = cp.array(x)

l2_np = np.linalg.norm(x_np)
l2_cp = cp.linalg.norm(x_cp)

print("Numpy: ", l2_np)
print("Cupy: ", l2_cp)

正如我們所見，我們得到了類似的結(jié)果。

Numpy: 7.0710678118654755

Cupy: 7.0710678118654755

為了將NumPy轉(zhuǎn)換成CuPy數(shù)組，只需使用cp.asarray(X)。

x_array = np.array([10, 22, 30])
x_cp_array = cp.asarray(x_array)
type(x_cp_array)

cupy.ndarray

或者，使用.get()，將CuPy轉(zhuǎn)換成Numpy數(shù)組。

x_np_array = x_cp_array.get()
type(x_np_array)

numpy.ndarray

性能比較

在本節(jié)中，我們將比較NumPy和CuPy的性能。

我們將使用time.time()對代碼執(zhí)行時間進行計時。然后，我們將創(chuàng)建一個3D NumPy數(shù)組，并執(zhí)行一些數(shù)學(xué)函數(shù)。

import time

# NumPy and CPU Runtime
s = time.time()
x_cpu = np.ones((1000, 100, 1000))
np_result = np.sqrt(np.sum(x_cpu**2, axis=-1))
e = time.time()
np_time = e - s
print("Time consumed by NumPy: ", np_time)

Time consumed by NumPy: 0.5474584102630615

類似地，我們將創(chuàng)建一個3D CuPy數(shù)組，執(zhí)行數(shù)學(xué)運算，并進行計時以評測性能。

# CuPy and GPU Runtime
s = time.time()
x_gpu = cp.ones((1000, 100, 1000))
cp_result = cp.sqrt(cp.sum(x_gpu**2, axis=-1))
e = time.time()
cp_time = e - s
print("\nTime consumed by CuPy: ", cp_time)

Time consumed by CuPy: 0.001028299331665039

為了計算差異，我們將NumPy時間除以CuPy時間，我們使用CuPy后獲得了500倍以上的性能提升。

diff = np_time/cp_time
print(f'\nCuPy is {diff: .2f} X time faster than NumPy')

CuPy is 532.39 X time faster than NumPy

注意：為了達到更好的效果，建議進行一番預(yù)熱運行，以盡量減少時間波動。

除了速度優(yōu)勢外，CuPy還提供了出色的多GPU支持，可以充分利用多個GPU的集體計算能力。

此外，如果您想比較結(jié)果，可以看看我的Colab筆記本。

結(jié)論

總之，CuPy提供了一種在英偉達GPU上加速NumPy代碼的簡單方法。只需做幾個修改，將NumPy替換成CuPy，就可以體驗到數(shù)組計算在速度上有數(shù)量級的提升。這種性能提升使您可以處理龐大得多的數(shù)據(jù)集和模型，從而實現(xiàn)更先進的機器學(xué)習(xí)和科學(xué)計算。

相關(guān)資源：

• 說明文檔：https://docs.cupy.dev/en/stable/index.html
• GitHub：https://github.com/cupy/cupy
• 示例：https://github.com/cupy/cupy/tree/main/examples
• API：https://docs.cupy.dev/en/stable/reference/

原文標(biāo)題：Leveraging the Power of GPUs with CuPy in Python，作者：Abid Ali Awan