離線網(wǎng)絡(luò)環(huán)境下一鍵式部署
關(guān)鍵詞
封閉網(wǎng)絡(luò)：一個相對封閉的網(wǎng)絡(luò)環(huán)境，僅可以使用有限的資源如：maven鏡像倉庫、Centos/Ubuntu源等，無法連接互聯(lián)網(wǎng)的網(wǎng)絡(luò)環(huán)境。
一鍵部署：這里所說的“一鍵式部署”不僅僅是指這樣的場景：“編碼 --> 測試 --> 提交--> CI/CD --> 部署完成”。這里更多的是在描述：“在一個離線的網(wǎng)絡(luò)環(huán)境下，運行一個deploy.sh的文件，就可以看到所有基礎(chǔ)設(shè)施服務(wù)如：Nexus、Gitlab、Mongodb等已部署完成，然后在你編輯業(yè)務(wù)代碼并提交至遠程倉庫時，會觸發(fā)CI、編譯、測試、打包、部署，至此所有的業(yè)務(wù)模塊部署成功”，實現(xiàn)基礎(chǔ)設(shè)施即代碼。
背景
在這個互聯(lián)網(wǎng)無處不在的時代，網(wǎng)絡(luò)安全尤為重要，特別是在金融和電信領(lǐng)域，出現(xiàn)網(wǎng)絡(luò)安全問題將會帶來不可估量的損失。
基于對數(shù)據(jù)安全性、保密性和獨立性的考慮，為了更好地提供服務(wù)，同時有效地保護內(nèi)部網(wǎng)絡(luò)的安全，我們需要將這些對外開放的主機與內(nèi)部的眾多網(wǎng)絡(luò)設(shè)備分隔開來，制定安全策略限制互聯(lián)網(wǎng)連接。這樣便能在對外提供友好服務(wù)的同時，***限度地保護內(nèi)部網(wǎng)絡(luò)，這也導(dǎo)致了內(nèi)網(wǎng)無法連接互聯(lián)網(wǎng)而形成一個“封閉網(wǎng)絡(luò)”。
痛點
我們通常會有這樣的需求：在一個無法連接互聯(lián)網(wǎng)的環(huán)境下setup一套dev、qa、staging包括搭建CI等環(huán)境來供不同的角色使用，但是由于安全策略或其他安全限制導(dǎo)致一些基礎(chǔ)服務(wù)無法從互聯(lián)網(wǎng)獲取，如Kubenetes、Mongodb、Kafka等基礎(chǔ)組件服務(wù)，這就給自動化部署和持續(xù)交付帶來了不便，特別是在系統(tǒng)對第三方服務(wù)依賴較多的情況下。
本文通過部署一套復(fù)雜系統(tǒng)為例，來描述如何在封閉網(wǎng)絡(luò)環(huán)境下實現(xiàn)一鍵式部署。
解決方案
基于最主要的原因: "更輕松的遷移和擴展", 我們使用Docker來部署基礎(chǔ)組件服務(wù)。
對于一個封閉的網(wǎng)絡(luò)環(huán)境來說，要獲取基礎(chǔ)服務(wù)鏡像如上文提到的Mongodb鏡像是不可能完成的任務(wù)。當(dāng)然，我們可以使用docker save將構(gòu)建好的鏡像保存成tar包，使用U盤等介質(zhì)將tar包復(fù)制到內(nèi)網(wǎng)然后使用docker load命令還原鏡像。
對于較復(fù)雜(依賴相對較多的基礎(chǔ)組件)的系統(tǒng)來說，如果每個組件都如此操作將會帶來很大的工作量，并且更容易出錯，對于后期維護來說也是一個很大的挑戰(zhàn)。所以使用Nexus是一個很好的選擇，將Nexus作為Docker倉庫保存所有的基礎(chǔ)組件鏡像。 這樣不僅可以解決離線網(wǎng)絡(luò)無法下載安裝包的問題，同時可以簡化配置，并保持內(nèi)網(wǎng)環(huán)境與開發(fā)環(huán)境的一致性，給一鍵式部署提供了前提。
解決了網(wǎng)絡(luò)問題，接下來就是部署和配置管理。同樣的道理，如果每個基礎(chǔ)服務(wù)都需要手動部署往往比較耗時，難以實現(xiàn)故障排查，并且可能帶來潛在錯誤。所以我們需要一個自動化部署工具來提高工作效率，降低維護成本。
經(jīng)過對主流的自動化工具做橫向?qū)Ρ?，最終選擇使用Ansible作為配置管理和自動化部署工具。那么Ansible是什么?下文會給出詳細(xì)描述。
解決了上述問題，就可以實施離線網(wǎng)絡(luò)自動化部署了，將整個過程分為3階段，依次是:
- Base Deploy。主要部署所有服務(wù)所依賴的基礎(chǔ)組件Docker、Nexus和Gitlab，Docker作為基礎(chǔ)平臺，Nexus和Gitlab也部署在Docker平臺上，Nexus作為私有Maven倉庫和私有Docker倉庫，Gitlab作為私有遠程代碼庫。
- Infrastructure Deploy。此階段主要使用Ansible部署集群所依賴的基礎(chǔ)服務(wù)如Kubernetes(Pass平臺)、Kafka和Mongodb等服務(wù)。
- Business Deploy。***一個階段測試持續(xù)集成和持續(xù)部署的階段，使用GoCD作為CI工具，在CI上實現(xiàn)業(yè)務(wù)服務(wù)模塊的自動化部署。
實踐如下圖所示：
1. Base Deploy
如上文所述，使用Nexus作為私有的Docker Registry和Maven Repository，Nexus是倉庫管理器，它極大地簡化了自己內(nèi)部倉庫的維護和外部倉庫的訪問。利用Nexus你可以只在一個地方就能夠完全控制訪問和部署在你所維護倉庫中的每個Artifact。
Nexus存儲著所有基礎(chǔ)設(shè)施的鏡像文件，如Kubernetes、Mongodb、Zookeeper和Kafka的鏡像等，同時需要一個Nexus鏡像文件用來部署Nexus。為Infrastructure Deploy提供基礎(chǔ)環(huán)境和部署中所有的依賴組件。
同時為了方便Nexus的遷移和維護，我們將Nexus也部署在Docker平臺上。使用一個簡單的Shell腳本完成Base Deploy，一次部署Docker、Nexus和Gitlab(Gitlab作為私有的git倉庫)。Deploy.sh 代碼如下：
- #!/bin/bash
- function init_docker {...} #安裝docker
- function load_images {...} #加載docker容器
- function run_service {...} #啟動nexus、gitlab等服務(wù)
- function upload_nexus_data {...} #上傳nexus數(shù)據(jù)
- function upload_gitlab_data {...} #上傳gitlab數(shù)據(jù)
- for i in ${HOST_LIST[@]};do
- init_docker $i
- upload_data $2
- run_service $1
- done
PS： 運行deploy.sh 之前所有主機需要配置ssh public key登錄， 避免自動化過程中提示輸入密碼。
運行deploy.sh即可部署Nexus和Gitlab。Nexus如下圖所示，可以運行docker pull 獲取所有組件的鏡像包括kubernetes、ansible等 。
Git Lab如下圖所示，也可以運行g(shù)it clone 獲取所有的代碼倉庫包括Infrastructure Deploy的部署腳本。
如果條件允許可以為Nexus和Gitlab創(chuàng)建DNS記錄，或者可以通過修改本地/etc /hosts文件來通過使用特定域名訪問Nexus和Gitlab，如下文中使用的nexus-server訪問Nexus、gitlab-server訪問Gitlab。
2. Infrastructure Deploy
上文提到我們使用Ansible來實現(xiàn)基礎(chǔ)設(shè)施的自動化部署，我們知道目前主流的自動化部署工具包括Puppet、Chef、Ansible。 對比來說，Chef對于開發(fā)人員要更加“友好”，而Puppet則更適合運營和系統(tǒng)管理類的任務(wù)，但是我們選擇Ansible，主要的原因是：
- Ansible是通過ssh進行所有操作，不需要在遠程服務(wù)器上安裝客戶端，而使用Chef引擎和Puppet時，都需要在其管理的服務(wù)器上安裝客戶端(雖然Chef聲稱其可以不安裝，但其無代理agent-less版本支持的功能十分有限)，Ansible則會充分利用現(xiàn)有的東西，而且沒有其他任何要求[注]。
- 通俗的說Ansible的部署過程就是在一臺或者幾臺服務(wù)器上，執(zhí)行一系列的命令而已。Ansible playbook是Ansible更為強大的配置管理組件，實現(xiàn)基于文本文件編排執(zhí)行的多個任務(wù)，且多次重復(fù)執(zhí)行。所以我們選擇Ansible作為配置管理和自動化部署工具。
Ansible工作原理如下圖：
(圖片來自：Ansible官網(wǎng))
使用Ansible使整個過程透明化，每個部署工作都實現(xiàn)為獨立的ansible playbook role，這樣可以在不同的環(huán)境里部署指定的服務(wù)，提高部署代碼的復(fù)用性。同時與Nexus配合使用，形成自動化部署的閉環(huán)，不依賴網(wǎng)絡(luò)即可提供部署中依賴的所有組件，所有的應(yīng)用程序都會以Docker image的方式提供。
在離線環(huán)境下使用Ansible是完全可行的，但是離線環(huán)境也無法直接安裝Ansible，為了統(tǒng)一管理我們也使用Docker鏡像來提供Ansible。在內(nèi)網(wǎng)成功部署了Nexus后，使用docker pull nexus-server:5000/:即可獲得Ansible鏡像。同時Ansible所需playbook role文件則保存在Gitlab中，執(zhí)行g(shù)it clone gitlab-server:2289/.git 下載deploy代碼庫。 deploy代碼庫結(jié)構(gòu)如下：
- ├── environments
- │ └── uat
- │ └── inventory
- │ └── dev
- │ └── inventory
- ├── roles
- │ ├── docker
- │ ├── kubernetes
- │ ├── mongodb-cluster
- ├── docker.yml # 在PaaS集群所有VM節(jié)點安裝docker
- ├── kubernetes.yml # 部署PaaS平臺
- ├── mongodb-cluster.yml # 部署mongodb sharding 集群
- └── all.yml
- # all.yml 一鍵部署所有的基礎(chǔ)設(shè)施
- ---
- - include: mongodb-cluster.yml
- - include: kubernetes.yml
- - include: docker.yml
運行以下命令即可實現(xiàn)基礎(chǔ)設(shè)施的一鍵自動部署：
- docker run --rm -v WORKDIR:$(pwd) ansible:2.2.1 ansible-playbook -i uat/inventory all.yml
3. Business Deploy
***Business Deploy就是標(biāo)準(zhǔn)的持續(xù)集成/交付過程，使用GoCD作為CI/CD工具，完成業(yè)務(wù)模塊的持續(xù)集成和部署。關(guān)于持續(xù)集成和持續(xù)交付，請參考https://en.wikipedia.org/wiki/Continuous_delivery/
總結(jié)
玩過紅警的朋友應(yīng)該知道，在開局的時候你只有一個基地，需要采集資源、升級建筑、造兵攻打直到消滅所有的國家，一切都是自給自足。當(dāng)然紅警是可以離線玩的, 上文描述的過程和紅警很類似，你只有一個基地，就是將所有部署所需要的文件如Nexus data、Gitlab repo等按照特定的目錄結(jié)構(gòu)打成的zip包，使用U盤或者其他存儲介質(zhì)拷貝到離線的網(wǎng)絡(luò)環(huán)境，就像雙擊紅警基地一樣，運行deploy.sh即可一鍵部署所有的基礎(chǔ)設(shè)施服務(wù)。
對于所有組件的升級，也比較容易，我們只需要將升級后的Docker鏡像拷貝到內(nèi)網(wǎng)，重新執(zhí)行Ansible腳本即可實現(xiàn)基礎(chǔ)服務(wù)的更新。
