[[433801]]

文末本文轉(zhuǎn)載自微信公眾號(hào)「牧小農(nóng)」，作者牧小農(nóng)。轉(zhuǎn)載本文請(qǐng)聯(lián)系牧小農(nóng)公眾號(hào)。

國(guó)內(nèi)安裝K8S的四種途徑

Kubernetes 的安裝其實(shí)并不復(fù)雜，因?yàn)镵ubernetes 屬于Google 的產(chǎn)品，都是從Google的官方上進(jìn)行下載，但是因?yàn)榫W(wǎng)絡(luò)問(wèn)題，在國(guó)內(nèi)是沒(méi)辦法連接它的中央倉(cāng)庫(kù)進(jìn)行下載安裝包的，只能通過(guò)其他的途徑進(jìn)行安裝，在國(guó)內(nèi)有四種安裝方式

使用 Kubeadmin 通過(guò)離線(xiàn)鏡像安裝： Kubeadmin 是K8S提供的管理控制臺(tái)，通過(guò)這里的命令可以非常方便的對(duì)我們集群進(jìn)行快速發(fā)布和部署

使用阿里云公有云平臺(tái)安裝K8S： 這是也是非常好用的，不用做任何設(shè)置，拿來(lái)就用，但是有一個(gè)缺點(diǎn)——要錢(qián)

通過(guò)yum官方倉(cāng)庫(kù)安裝： 這個(gè)是最簡(jiǎn)單的，但是這個(gè)安裝K8S的包是非常古老的版本，聽(tīng)說(shuō)是和谷歌最新的差了十個(gè)版本

通過(guò)二進(jìn)制包的形式進(jìn)行安裝： 采用第三方的提供的二進(jìn)制包的形式來(lái)安裝K8S，比如 Kubeasz，它是github的一個(gè)開(kāi)源項(xiàng)目，因?yàn)樗怯扇絹?lái)提供的，如果在沒(méi)有仔細(xì)驗(yàn)證的情況下，是非常容易出錯(cuò)的，后臺(tái)存在什么樣的缺陷，你是不知道的。

今天我們這里采用的是第一種 使用Kubeadmin通過(guò)離線(xiàn)鏡像安裝K8S，本文也會(huì)使用 Kubeadmin 來(lái)為大家展示K8S的集群部署和安裝，環(huán)境和安裝包我都為大家準(zhǔn)備好了，大家感興趣的可以進(jìn)行下載安裝。

環(huán)境準(zhǔn)備

結(jié)構(gòu)圖：

1.1 物理機(jī)系統(tǒng)

在這里需要說(shuō)明一下，小農(nóng)是本地虛擬機(jī)安裝測(cè)試的，如果不知道怎么安裝，看下面的我安裝虛擬機(jī)的教程：虛擬機(jī)安裝教程：安裝linux虛擬機(jī)(CentOS) 詳細(xì)教程

安裝K9S需要處理器的數(shù)量為2，否則后面初始化的時(shí)候會(huì)失敗

1.2物理機(jī)操作系統(tǒng)采用Centos7.8 64位

[root@localhost ~]# uname -a 
  Linux localhost.localdomain 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux 
[root@localhost ~]# cat /etc/redhat-release 
  CentOS Linux release 7.8.2003 (Core) 

1.3 集群信息

環(huán)境準(zhǔn)備命令

2.1 設(shè)置時(shí)區(qū)

三臺(tái)機(jī)器都需要執(zhí)行：

timedatectlset-timezoneAsia/Shanghai 

2.2 設(shè)置主機(jī)名

129執(zhí)行： hostnamectlset-hostname master

130執(zhí)行： hostnamectlset-hostname node1

131執(zhí)行： hostnamectlset-hostname node2

2.3 添加hosts網(wǎng)絡(luò)主機(jī)配置

三臺(tái)主機(jī)都需要添加這個(gè)配置

vi /etc/hosts 
192.168.137.129 master 
192.168.137.130 node1 
192.168.137.131 node2 

添加完成之后我們?cè)趍aster上驗(yàn)證一下 ping node1

[root@localhost ~]# ping node1 
PING node1 (192.168.137.130) 56(84) bytes of data. 
64 bytes from node1 (192.168.137.130): icmp_seq=1 ttl=64 time=0.605 ms 
64 bytes from node1 (192.168.137.130): icmp_seq=2 ttl=64 time=0.382 ms 
64 bytes from node1 (192.168.137.130): icmp_seq=3 ttl=64 time=0.321 ms 

2.4 關(guān)閉防火墻

生產(chǎn)環(huán)境可以跳過(guò)這一步，在生產(chǎn)環(huán)境不要執(zhí)行這個(gè)，這里只是為了方便我們學(xué)習(xí)的時(shí)候使用

SELINUX是安全增強(qiáng)型的LINUX，是LINUX內(nèi)置安全增強(qiáng)模塊，可以增強(qiáng)LINUX的安全性，但是這個(gè)設(shè)置起來(lái)太麻煩了，所以我們?cè)趯W(xué)習(xí)過(guò)程中一般都會(huì)關(guān)閉掉這個(gè)

關(guān)閉命令：

sed-i's/SELINUX=enforcing/SELINUX=disabled/g'/etc/selinux/config 

設(shè)置為臨時(shí)生效：

setenforce0 

禁用防火墻：

systemctl disable firewalld 

停止防火墻：

systemctl stop firewalld 

安裝Kubeadm部署工具

首先我們要弄清楚一個(gè)概念，Kubeadm 并不是 K8S 本身，Kubeadm只是一個(gè)快速部署工具，通過(guò)安裝這個(gè)工具可以幫助我們簡(jiǎn)化K8S部署的過(guò)程。

創(chuàng)建文件目錄：mkdir/usr/local/k8s

切換目錄地址：cd/usr/local/k8s

然后我們將安裝包(kubernetes-1.14 安裝包在開(kāi)頭有下載連接)放到 k8s 這個(gè)目錄下

[root@master k8s]# ll 
drwxr-xr-x 2 root root 335 Nov  6 11:17 kubernetes-1.14 

切換到kubernetes的目錄

[root@master k8s]# cd kubernetes-1.14/ 
[root@master kubernetes-1.14]# ll 
total 986908 
-rw-r--r-- 1 root root       357 Jul  3 14:15 admin-role.yaml 
-rw-r--r-- 1 root root        67 Jul  3 14:15 daemon.json 
-rw-r--r-- 1 root root  67850818 Jul  3 14:15 docker-ce-18.09.tar.gz 
-rw-r--r-- 1 root root 177698304 Jul  3 14:15 flannel-dashboard.tar.gz 
-rw-r--r-- 1 root root       927 Jul  3 14:15 init.sh 
-rw-r--r-- 1 root root 706070528 Jul  3 14:15 k8s-114-images.tar.gz 
-rw-r--r-- 1 root root        79 Jul  3 14:15 k8s.conf 
-rw-r--r-- 1 root root  58913350 Jul  3 14:15 kube114-rpm.tar.gz 
-rw-r--r-- 1 root root     12306 Jul  3 14:15 kube-flannel.yml 
-rw-r--r-- 1 root root       281 Jul  3 14:15 kubernetes-dashboard-admin.rbac.yaml 
-rw-r--r-- 1 root root      4809 Jul  3 14:15 kubernetes-dashboard.yaml 
-rw-r--r-- 1 root root       953 Jul  3 14:15 worker-node.sh 
[root@master kubernetes-1.14]# 

這里面就包含了我們安裝K8S的所有內(nèi)容，其中

kube114-rpm.tar.gz： 是我們Kubeadm 集群管理工具的安裝壓縮包

docker-ce-18.09.tar.gz： 是我們docker的安裝壓縮包，可以進(jìn)行本地化安裝

k8s-114-images.tar.gz： 是K8S鏡像本身，我們K8S的安裝是 通過(guò) Kubeadm 集群管理工具對(duì)K8S的鏡像進(jìn)行自動(dòng)化部署

flannel-dashboard.tar.gz： 用來(lái)監(jiān)控集群狀態(tài)

安裝Docker

我們需要在三臺(tái)機(jī)器上都安裝docker，文中用 master 節(jié)點(diǎn)來(lái)做演示

首先對(duì) docker-ce-18.09.tar.gz進(jìn)行解壓縮

[root@master kubernetes-1.14]# tar -zxvf docker-ce-18.09.tar.gz 
[root@master kubernetes-1.14]# cd docker 

在安裝之前我們首先需要保證本來(lái)的yum源和docker依賴(lài)是最新的，所以我們需要先執(zhí)行以下命令，這一步命令執(zhí)行都是在 docker這個(gè)目錄下執(zhí)行的

1、安裝GCC

yum -y install gcc 
yum -y install gcc-c++ 

2、卸載老版本的docker和依賴(lài)

yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine 

3、安裝 yum-utils組件：

yum install-y yum-utils device-mapper-persistent-data lvm2 

4、添加yum 源 PS

docker官網(wǎng)地址：sudo yum-config-manager--add-repo https://download.docker.com/linux/centos/docker-ce.repo 
 
阿里云地址：sudo yum-config-manager--add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

5、更新yum索引：sudo yum makecache fast

6、安裝docker-ce：sudo yum install docker-ce

7、卸載老版本的docker和依賴(lài) 這一步不是重復(fù)，是為了卸載上一步的 docker-ce來(lái)安裝我們k8s包里面的 docker-ce

yum  remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine 

8、執(zhí)行我們安裝包里面的文件：yum localinstall-y*.rpm

到這里就代表我們的docker安裝完成了

啟動(dòng)docker：systemctl start docker

設(shè)置docker為自動(dòng)啟動(dòng)：systemctl enable docker

保證cgroups在同一個(gè)

執(zhí)行命令：

[root@master docker]# docker info | grep cgroup 
Cgroup Driver: cgroupfs 

• cgroups是 control groups的簡(jiǎn)稱(chēng)，它為L(zhǎng)inux內(nèi)核提供了一種任務(wù)聚集和劃分的機(jī)制，通過(guò)一組參數(shù)集合將一些任務(wù)組織成一個(gè)或多個(gè)子系統(tǒng)。
• cgroups是實(shí)現(xiàn)IaaS虛擬化(kvm、lxc等)，PaaS容器沙箱(Docker等)的資源管理控制部分的底層基礎(chǔ)。
• 子系統(tǒng)是根據(jù) cgroup對(duì)任務(wù)的劃分功能將任務(wù)按照一種指定的屬性劃分成的一個(gè)組，主要用來(lái)實(shí)現(xiàn)資源的控制。
• 在 cgroup中，劃分成的任務(wù)組以層次結(jié)構(gòu)的形式組織，多個(gè)子系統(tǒng)形成一個(gè)數(shù)據(jù)結(jié)構(gòu)中類(lèi)似多根樹(shù)的結(jié)構(gòu)。 cgroup包含了多個(gè)孤立的子系統(tǒng)，每一個(gè)子系統(tǒng)代表單一的資源

我們只需要確認(rèn)輸入上面的命令后出現(xiàn)的是：CgroupDriver:cgroupfs

當(dāng)我們輸入命令發(fā)現(xiàn)不是CgroupDriver:cgroupfs這個(gè)結(jié)果，那我們需要執(zhí)行下面的命令：

對(duì) daemon.json 進(jìn)行修改：

cat << EOF > /etc/docker/daemon.json 
{ 
  "exec-opts": ["native.cgroupdriver=cgroupfs"] 
} 
EOF 
systemctl daemon-reload && systemctl restart docker 

安裝kubeadm

kubeadm是K8S官方提供的集群部署工具，通過(guò)這個(gè)工具可以快速幫助我們簡(jiǎn)化的完成K8S的管理，以及各集群節(jié)點(diǎn)下的容器創(chuàng)建

切換目錄：cd/usr/local/k8s/kubernetes-1.14

解壓 kube114安裝包：tar-zxvf kube114-rpm.tar.gz

切換目錄：cd kube114-rpm

安裝：yum localinstall-y*.rpm

關(guān)閉交換區(qū)

• 在linux系統(tǒng)中，交換區(qū)類(lèi)似于我們的 windows的虛擬內(nèi)存，作為 windows的虛擬內(nèi)存，其實(shí)就是用物理磁盤(pán)模擬內(nèi)存.
• 比如說(shuō)我們系統(tǒng)內(nèi)存比較小，那么在進(jìn)行數(shù)據(jù)處理的時(shí)候，內(nèi)存不夠了，我們就會(huì)先把這些數(shù)據(jù)寄存在硬盤(pán)上，用硬盤(pán)空間模擬內(nèi)存來(lái)使用，雖然硬盤(pán)提取數(shù)據(jù)的速度比較慢，但是總是比內(nèi)存不夠要好，在linux系統(tǒng)中，交換區(qū)就是我們所說(shuō)的虛擬內(nèi)存了.
• 在這里，虛擬內(nèi)存可能會(huì)對(duì)系統(tǒng)部署產(chǎn)生不必要的影響，在K8S的環(huán)境下，使用的服務(wù)器一般都是內(nèi)存比較充足的，所以我們一般不推薦使用系統(tǒng)交換區(qū)，這樣會(huì)讓我們系統(tǒng)的性能降低，在這里選擇關(guān)閉交換區(qū)

關(guān)閉交換區(qū)：swapoff-a

修改配置文件，永久關(guān)閉交換區(qū)：vi/etc/fstab swap一行注釋

配置網(wǎng)橋

所謂配置網(wǎng)橋其實(shí)就是我們對(duì) k8s.conf這個(gè)文件進(jìn)行修改iptables 是在linux中的一個(gè)網(wǎng)絡(luò)工具，用來(lái)對(duì)我們包按照規(guī)則進(jìn)行過(guò)濾，在 k8s.conf中增加下面兩行配置當(dāng)在K8S容器間進(jìn)行網(wǎng)絡(luò)通信的時(shí)候，當(dāng)網(wǎng)橋進(jìn)行數(shù)據(jù)傳輸?shù)臅r(shí)候，也要遵循iptables的規(guī)則，進(jìn)行相應(yīng)的處理，這樣可以提高我們系統(tǒng)在網(wǎng)絡(luò)傳輸間的安全性

開(kāi)啟方式：

cat <<EOF >  /etc/sysctl.d/k8s.conf 
net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
EOF 
sysctl --system 

當(dāng)我們執(zhí)行完成以后，要確保紅框中的值為1

通過(guò)鏡像安裝K8S

切換目錄：cd/usr/local/k8s/kubernetes-1.14

加載本地鏡像—k8s：docker load-i k8s-114-images.tar.gz

加載完成后查看：docker images

[root@master kubernetes-1.14]# docker images 
REPOSITORY                           TAG       IMAGE ID       CREATED       SIZE 
k8s.gcr.io/kube-proxy                v1.14.1   20a2d7035165   2 years ago   82.1MB 
k8s.gcr.io/kube-apiserver            v1.14.1   cfaa4ad74c37   2 years ago   210MB 
k8s.gcr.io/kube-controller-manager   v1.14.1   efb3887b411d   2 years ago   158MB 
k8s.gcr.io/kube-scheduler            v1.14.1   8931473d5bdb   2 years ago   81.6MB 
k8s.gcr.io/coredns                   1.3.1     eb516548c180   2 years ago   40.3MB 
k8s.gcr.io/etcd                      3.3.10    2c4adeb21b4f   2 years ago   258MB 
k8s.gcr.io/pause                     3.1       da86e6ba6ca1   3 years ago   742kB 

如果看過(guò)我上一篇K8S入門(mén)的同學(xué)，應(yīng)該很熟悉這些東西，這里就不做詳細(xì)介紹了，感興趣的可以去看一看這一篇 K8S(Kubernetes)我覺(jué)得可以了解一下!!!

加載本地鏡像—對(duì)集群可視化：docker load-i flannel-dashboard.tar.gz

同樣我們也可以使用docker images進(jìn)行查看

到這里我們K8S的前置工作已經(jīng)完成了，但是我們今天安裝的集群環(huán)境，所以上面的步驟，在其他兩臺(tái)機(jī)器中也要進(jìn)行安裝，當(dāng)我們安裝好了之后，其他的兩臺(tái)機(jī)器使用 docker images，也能 出現(xiàn)上面的信息表示我們安裝完成，這里我們就不做重復(fù)的工作了，大家可以自行安裝好

使用Kubeadm部署K8S集群

master 主服務(wù)配置

下面的步驟我們都是在 129(master) 這臺(tái)服務(wù)器上執(zhí)行的，請(qǐng)大家注意!!!

master主服務(wù)器配置：

kubeadm init--kubernetes-version=v1.14.1--pod-network-cidr=10.244.0.0/16 

versioin：版本

cidr：Ip范圍必須在10.244之內(nèi)

安裝成功之后我們可以看到下面的信息：

第一步：

這三行命令需要我們復(fù)制以后手動(dòng)去運(yùn)行

## 表示需要我們創(chuàng)建一個(gè).kube目錄 
  mkdir -p $HOME/.kube  
  ##將admin.conf 復(fù)制到config中    
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config    
  ## 進(jìn)行授權(quán)操作  
  sudo chown $(id -u):$(id -g) $HOME/.kube/config 

admin.conf 是 kubeadm 有關(guān)于當(dāng)前集群的核心配置文件，包含了kubeadm集群信息，也包含節(jié)點(diǎn)的信息，大家可以看一下

第二步：這條命令需要我們?cè)诠?jié)點(diǎn)中(130、131)去運(yùn)行，讓我們的節(jié)點(diǎn)信息加入到master(129)中，我們可以先復(fù)制保存一下

kubeadm join 192.168.137.129:6443 --token lg870y.lxik26ib84938ton \ 
    --discovery-token-ca-cert-hash sha256:6d8331fe88ae99e89608d6dc414a9fe0a378b84ffa4044d7cacfdbbf5de41871 

通過(guò)kubectl獲取節(jié)點(diǎn)信息(包含master)：kubectl get nodes

name：主機(jī)名STATUS：狀態(tài)ROLES：角色AGE：創(chuàng)建時(shí)間26分鐘VERSION：版本

從上圖中我們可以看到，節(jié)點(diǎn)只有master，沒(méi)有Node，是因?yàn)楫?dāng)前沒(méi)有執(zhí)行第二步的操作，所以當(dāng)前沒(méi)有節(jié)點(diǎn)加入到我們的master中，當(dāng)時(shí)我們看到 status是NotReady，是沒(méi)有準(zhǔn)備好，這是為什么呢，在底層肯定是有什么組件沒(méi)有正常的執(zhí)行，我們可以通過(guò)下面這個(gè)命令來(lái)查看

查看存在問(wèn)題的pod：kubectlgetpod--all-namespaces

如果我們?cè)跔顟B(tài)(STATUS)中看到 CrashLoopBackOff一般重新執(zhí)行幾次 kubectlgetpod--all-namespaces命令就會(huì)沒(méi)有，但是如果一直存在，表示我們硬件不夠，需要增加CPU和內(nèi)存資源就可以了。

我們可以前兩行的是狀態(tài)一直是 Pending，其他的都是 Running，這是不正常的，那為什么只有前兩個(gè)是這樣的，后面的是好的呢，這個(gè)問(wèn)題是必然會(huì)出現(xiàn)的。

我們可以看到 name下 有一個(gè) coredns，它代表的是我們基礎(chǔ)中的網(wǎng)絡(luò)應(yīng)用，這個(gè)基礎(chǔ)的網(wǎng)絡(luò)應(yīng)用因?yàn)槿鄙僖粋€(gè)額外的組件，所以無(wú)法進(jìn)行安裝，在這里是因?yàn)槿鄙? flannel網(wǎng)絡(luò)組件，它是pod的網(wǎng)絡(luò)組件，我們只需要通過(guò) kubectl 進(jìn)行安裝就可以了

安裝flannel網(wǎng)絡(luò)組件：kubectl create-f kube-flannel.yml

安裝成功以后我們?cè)偈褂妹睿簁ubectlgetpod--all-namespaces，就不會(huì)出現(xiàn) Pending的狀態(tài)了

并且master也是準(zhǔn)備就緒了

node 從服務(wù)配置

還記得我們?cè)谥鞣?wù)(master)初始化的時(shí)候，復(fù)制下來(lái)的第二步的命令嗎，我們?cè)趎ode(130、131)節(jié)點(diǎn)中只需要執(zhí)行那條命令就可以了，

PS：這條命令是由我自己的master生成的，大家需要替換成你們自己的那條命令才可以。

如果我們忘記了這條命令，我們可以通過(guò) kubeadm token list命令去查看，然后將下方的IP地址和token替換一下就可以了，其他不用替換

kubeadm join 192.168.137.129:6443 --token lg870y.lxik26ib84938ton \ 
 
--discovery-token-ca-cert-hash sha256:6d8331fe88ae99e89608d6dc414a9fe0a378b84ffa4044d7cacfdbbf5de41871 

通過(guò)kubectl獲取節(jié)點(diǎn)信息(包含master)： kubectlgetnodes

然后我們就可以看到，兩個(gè)節(jié)點(diǎn)已經(jīng)加入進(jìn)來(lái)了

重新啟動(dòng)服務(wù)

重啟docker：systemctl restart docker 重啟kubelet：systemctl restart kubelet 設(shè)置開(kāi)機(jī)啟動(dòng)：systemctl enablekubelet

kubeadm/kubelet/kubectl區(qū)別

• kubeadm：是kubernetes集群快速構(gòu)建工具
• kubelet 運(yùn)行在所有節(jié)點(diǎn)上，負(fù)責(zé)啟動(dòng)Pod和容器，以系統(tǒng)服務(wù)形式出現(xiàn)
• kubectl：kubectl是kubernetes命令行工具，提供指令

小結(jié)

到這里K8S的集群服務(wù)就講完了，其實(shí)本身安裝K8S并不復(fù)雜，但是你架不住里面有許多許多的坑，大家可能看到我安裝的比較順利，但是小農(nóng)也是躺了很多坑，這篇文章才呈現(xiàn)給大家的，如果覺(jué)得文章對(duì)你有幫助的，記得點(diǎn)贊關(guān)注，你的支持我創(chuàng)作的最大動(dòng)力。