ClusterShell：一個在集群節(jié)點上并行運行命令的好工具
我們過去曾寫過兩篇如何并行地在多個遠程服務器上運行命令的文章：并行 SSH（PSSH） 和分布式 Shell（DSH）。今天，我們將討論相同類型的主題，但它允許我們在集群節(jié)點上執(zhí)行相同的操作。你可能會想，我可以編寫一個小的 shell 腳本來實現(xiàn)這個目的，而不是安裝這些第三方軟件包。
當然，你是對的，如果要在十幾個遠程系統(tǒng)中運行一些命令，那么你不需要使用它。但是，你的腳本需要一些時間來完成此任務，因為它是按順序運行的。想想你要是在一千多臺服務器上運行一些命令會是什么樣子？在這種情況下，你的腳本用處不大。此外，完成任務需要很長時間。所以，要克服這種問題和情況，我們需要可以在遠程計算機上并行運行命令。
為此，我們需要在一個并行應用程序中使用它。我希望這個解釋可以解決你對并行實用程序的疑慮。
ClusterShell
ClusterShell 是一個事件驅動的開源 Python 庫，旨在在服務器場或大型 Linux 集群上并行運行本地或遠程命令。（clush 即 ClusterShell）。
它將處理在 HPC 集群上遇到的常見問題，例如在節(jié)點組上操作，使用優(yōu)化過的執(zhí)行算法運行分布式命令，以及收集結果和合并相同的輸出，或檢索返回代碼。
ClusterShell 可以利用已安裝在系統(tǒng)上的現(xiàn)有遠程 shell 設施，如 SSH。
ClusterShell 的主要目標是通過為開發(fā)人員提供輕量級、但可擴展的 Python API 來改進高性能集群的管理。它還提供了 clush、clubak 和 cluset/nodeset 等方便的命令行工具，可以讓傳統(tǒng)的 shell 腳本利用這個庫的一些功能。
ClusterShell 是用 Python 編寫的，它需要 Python（v2.6+ 或 v3.4+）才能在你的系統(tǒng)上運行。
如何在 Linux 上安裝 ClusterShell？
ClusterShell 包在大多數(shù)發(fā)行版的官方包管理器中都可用。因此，使用發(fā)行版包管理器工具進行安裝。
對于 Fedora 系統(tǒng)，使用 DNF 命令來安裝 clustershell。
$ sudo dnf install clustershell
如果系統(tǒng)默認是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發(fā)包。
$ sudo dnf install python3-clustershell
在執(zhí)行 clustershell 安裝之前，請確保你已在系統(tǒng)上啟用 EPEL 存儲庫。
對于 RHEL/CentOS 系統(tǒng)，使用 YUM 命令 來安裝 clustershell。
$ sudo yum install clustershell
如果系統(tǒng)默認是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發(fā)包。
$ sudo yum install python34-clustershell
對于 openSUSE Leap 系統(tǒng)，使用 Zypper 命令 來安裝 clustershell。
$ sudo zypper install clustershell
如果系統(tǒng)默認是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發(fā)包。
$ sudo zypper install python3-clustershell
對于 Debian/Ubuntu 系統(tǒng)，使用 APT-GET 命令 或 APT 命令 來安裝 clustershell。
$ sudo apt install clustershell
如何在 Linux 使用 PIP 安裝 ClusterShell？
可以使用 PIP 安裝 ClusterShell，因為它是用 Python 編寫的。
在執(zhí)行 clustershell 安裝之前，請確保你已在系統(tǒng)上啟用了 Python 和 PIP。
$ sudo pip install ClusterShell
如何在 Linux 上使用 ClusterShell？
與其他實用程序（如 pssh 和 dsh）相比，它是直接了當?shù)膬?yōu)秀工具。它有很多選項可以在遠程并行執(zhí)行。
在開始使用 clustershell 之前，請確保你已啟用系統(tǒng)上的無密碼登錄。
以下配置文件定義了系統(tǒng)范圍的默認值。你不需要修改這里的任何東西。
$ cat /etc/clustershell/clush.conf
如果你想要創(chuàng)建一個服務器組，那也可以。默認情況下有一些示例，請根據(jù)你的要求執(zhí)行相同操作。
$ cat /etc/clustershell/groups.d/local.cfg
只需按以下列格式運行 clustershell 命令即可從給定節(jié)點獲取信息：
$ clush -w 192.168.1.4,192.168.1.9 cat /proc/version192.168.1.9: Linux version 4.15.0-45-generic ([email protected]) (gcc version 7.3.0 (Ubuntu 7.3.0-16ubuntu3)) #48-Ubuntu SMP Tue Jan 29 16:28:13 UTC 2019192.168.1.4: Linux version 3.10.0-957.el7.x86_64 ([email protected]) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Thu Nov 8 23:39:32 UTC 2018
選項：
-w:你要運行該命令的節(jié)點。
你可以使用正則表達式而不是使用完整主機名和 IP：
$ clush -w 192.168.1.[4,9] uname -r192.168.1.9: 4.15.0-45-generic192.168.1.4: 3.10.0-957.el7.x86_64
或者，如果服務器位于同一 IP 系列中，則可以使用以下格式：
$ clush -w 192.168.1.[4-9] date192.168.1.6: Mon Mar 4 21:08:29 IST 2019192.168.1.7: Mon Mar 4 21:08:29 IST 2019192.168.1.8: Mon Mar 4 21:08:29 IST 2019192.168.1.5: Mon Mar 4 09:16:30 CST 2019192.168.1.9: Mon Mar 4 21:08:29 IST 2019192.168.1.4: Mon Mar 4 09:16:30 CST 2019
clustershell 允許我們以批處理模式運行命令。使用以下格式來實現(xiàn)此目的：
$ clush -w 192.168.1.4,192.168.1.9 -bEnter 'quit' to leave this interactive modeWorking with nodes: 192.168.1.[4,9]clush> hostnamectl---------------192.168.1.4---------------Static hostname: CentOS7.2daygeek.comIcon name: computer-vmChassis: vmMachine ID: 002f47b82af248f5be1d67b67e03514cBoot ID: f9b37a073c534dec8b236885e754cb56Virtualization: kvmOperating System: CentOS Linux 7 (Core)CPE OS Name: cpe:/o:centos:centos:7Kernel: Linux 3.10.0-957.el7.x86_64Architecture: x86-64---------------192.168.1.9---------------Static hostname: Ubuntu18Icon name: computer-vmChassis: vmMachine ID: 27f6c2febda84dc881f28fd145077187Boot ID: f176f2eb45524d4f906d12e2b5716649Virtualization: oracleOperating System: Ubuntu 18.04.2 LTSKernel: Linux 4.15.0-45-genericArchitecture: x86-64clush> free -m---------------192.168.1.4---------------total used free shared buff/cache availableMem: 1838 641 217 19 978 969Swap: 2047 0 2047---------------192.168.1.9---------------total used free shared buff/cache availableMem: 1993 352 1067 1 573 1473Swap: 1425 0 1425clush> w---------------192.168.1.4---------------09:21:14 up 3:21, 3 users, load average: 0.00, 0.01, 0.05USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATdaygeek :0 :0 06:02 ?xdm? 1:28 0.30s /usr/libexec/gnome-session-binary --session gnome-classicdaygeek pts/0 :0 06:03 3:17m 0.06s 0.06s bashdaygeek pts/1 192.168.1.6 06:03 52:26 0.10s 0.10s -bash---------------192.168.1.9---------------21:13:12 up 3:12, 1 user, load average: 0.08, 0.03, 0.00USER TTY FROM LOGIN@ IDLE JCPU PCPU WHATdaygeek pts/0 192.168.1.6 20:42 29:41 0.05s 0.05s -bashclush> quit
如果要在一組節(jié)點上運行該命令，請使用以下格式：
$ clush -w @dev uptimeor$ clush -g dev uptimeor$ clush --group=dev uptime192.168.1.9: 21:10:10 up 3:09, 1 user, load average: 0.09, 0.03, 0.01192.168.1.4: 09:18:12 up 3:18, 3 users, load average: 0.01, 0.02, 0.05
如果要在多個節(jié)點組上運行該命令，請使用以下格式：
$ clush -w @dev,@uat uptimeor$ clush -g dev,uat uptimeor$ clush --group=dev,uat uptime192.168.1.7: 07:57:19 up 59 min, 1 user, load average: 0.08, 0.03, 0.00192.168.1.9: 20:27:20 up 1:00, 1 user, load average: 0.00, 0.00, 0.00192.168.1.5: 08:57:21 up 59 min, 1 user, load average: 0.00, 0.01, 0.05
clustershell 允許我們將文件復制到遠程計算機。將本地文件或目錄復制到同一個遠程節(jié)點：
$ clush -w 192.168.1.[4,9] --copy /home/daygeek/passwd-up.sh
我們可以通過運行以下命令來驗證它：
$ clush -w 192.168.1.[4,9] ls -lh /home/daygeek/passwd-up.sh192.168.1.4: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 4 09:00 /home/daygeek/passwd-up.sh192.168.1.9: -rwxr-xr-x 1 daygeek daygeek 159 Mar 4 20:52 /home/daygeek/passwd-up.sh
將本地文件或目錄復制到不同位置的遠程節(jié)點：
$ clush -g uat --copy /home/daygeek/passwd-up.sh --dest /tmp
我們可以通過運行以下命令來驗證它：
$ clush --group=uat ls -lh /tmp/passwd-up.sh192.168.1.7: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 6 07:44 /tmp/passwd-up.sh
將文件或目錄從遠程節(jié)點復制到本地系統(tǒng)：
$ clush -w 192.168.1.7 --rcopy /home/daygeek/Documents/magi.txt --dest /tmp
我們可以通過運行以下命令來驗證它：
$ ls -lh /tmp/magi.txt.192.168.1.7-rw-r--r-- 1 daygeek daygeek 35 Mar 6 20:24 /tmp/magi.txt.192.168.1.7
