作者 |   陳海波（漂石）

午夜時(shí)分，電話響起，線上告急。你從千呼萬(wàn)釘中醒來(lái)，睡眼朦朧，手忙腳亂。恍惚之間，終于梳理清楚發(fā)生了什么，一個(gè)陳年老應(yīng)用突然停機(jī)，消息堆積，系統(tǒng)停擺。而你就像一個(gè)下水道小工疏通馬桶一般，大力出奇跡，重啟機(jī)器，恢復(fù)服務(wù)。只見(jiàn)消息隊(duì)列中的堆積事件一瀉千里，警告消除。次日，你再也不想重現(xiàn)午夜兇鈴，決定對(duì)系統(tǒng)進(jìn)行永久性修復(fù)：加一個(gè)定時(shí)重啟服務(wù)的腳本。斗轉(zhuǎn)星移，許多時(shí)日過(guò)去了，你也在不同的角落加了無(wú)數(shù)的腳本，也好久沒(méi)有半夜驚醒，甚至還能悠閑享受下午茶。但是，直到今天。今天，你們部門要降本增效，為了避免自己成為被砍掉的成本，你決定主動(dòng)對(duì)線上的機(jī)器開(kāi)刀：合并服務(wù)，裁撤機(jī)器。雖然你對(duì)機(jī)器上都部署了什么應(yīng)用了然于胸，但是你已經(jīng)不記得都有哪些腳手架支撐著應(yīng)用的運(yùn)轉(zhuǎn)。重建環(huán)境難如登天，你又開(kāi)始難眠了。

一、變化的基礎(chǔ)設(shè)施

復(fù)雜、神秘而神奇的線上環(huán)境承載了半部都市傳說(shuō)，甚至有些公司的線上環(huán)境本身就是一本需要口耳相傳的上古神話。我雖然沒(méi)有看過(guò)沙漠下暴雨，但是看過(guò)沒(méi)人說(shuō)的清楚上面有什么的環(huán)境。我雖然沒(méi)有看過(guò)大海親吻鯊魚，但是我看過(guò)重啟再也起不來(lái)的機(jī)器。如果你能說(shuō)清楚任何一臺(tái)機(jī)器上都部署了什么應(yīng)用，以及機(jī)器上服務(wù)之間的依賴關(guān)系是什么樣子的，你已經(jīng)擊敗了八成的玩家。而造成這種局面的根本原因就是基礎(chǔ)設(shè)施的易變。

• 新增一個(gè)服務(wù)時(shí)：“我找臺(tái)機(jī)器部署一下”
• 某一個(gè)服務(wù)出問(wèn)題時(shí)：“我上機(jī)器改一下”
• 需要對(duì)某個(gè)系統(tǒng)配置變更時(shí)：“我搞個(gè)腳本跑一跑”

看似常規(guī)運(yùn)維變更，有文檔記錄或者沒(méi)有文檔記錄，每一個(gè)環(huán)境都是如此的別致和獨(dú)一無(wú)二，再加上人員變動(dòng)，造就了無(wú)數(shù)的“祖?zhèn)髅丶肌薄?/p>

1.什么是不可變的基礎(chǔ)設(shè)施

容器在被廣泛接受的同時(shí)，「不可變」也逐漸被潛移默化的接受。應(yīng)用容器消亡之后，容器內(nèi)的修改會(huì)隨著容器一起不復(fù)存在，不要在容器內(nèi)做修改就是最樸素的不可變理念。在程序啟動(dòng)階段遇到問(wèn)題，很少人還會(huì)把在容器內(nèi)修修補(bǔ)補(bǔ)作為正經(jīng)方案，而會(huì)回到最一開(kāi)始的階段，從容器構(gòu)建階段解決問(wèn)題。隨之帶來(lái)的就是大家對(duì)容器鏡像無(wú)盡的信任感，容器突然出現(xiàn)問(wèn)題？重建試試。換個(gè)機(jī)器跑不起來(lái)？肯定是機(jī)器的問(wèn)題。

2.容器帶來(lái)了什么

大家普遍認(rèn)同 Docker 或者說(shuō)容器引發(fā)了一場(chǎng)革命。但是為何說(shuō)容器是一場(chǎng)革命，到底革了什么的命？有一種說(shuō)法是 Docker 簡(jiǎn)化了服務(wù)的管理，停啟服務(wù)更加簡(jiǎn)單，但是事實(shí)上 systemd 或者 supervisor 等老牌服務(wù)管理、運(yùn)維工具在這一點(diǎn)上不見(jiàn)得比 docker 難用多少。我認(rèn)為是鏡像技術(shù)引爆了革命，一個(gè)不可臨時(shí)修改的、固化的、自包含的交付物，真正的一次構(gòu)建到處運(yùn)行，一個(gè)可以快速鏟掉和快速部署的實(shí)體，再也沒(méi)有 「Works on my machine」，是如此的安心和可依賴。也正是因?yàn)槿萜鞯闹亟ㄊ侨绱说目旖?，使得我們有機(jī)會(huì)對(duì)「重啟試試」發(fā)揮到極致，出問(wèn)題了，重建容器看看？你想嘗試使用 Docker，但是你的業(yè)務(wù)如此復(fù)雜，上機(jī)器重建容器和直接上機(jī)器重啟服務(wù)又有什么本質(zhì)差別呢。

二、Pet vs Cattle

隨之 Kubernetes 的到來(lái)，大規(guī)模的容器管理成為可能，而劃定大規(guī)模容器的管理最佳實(shí)踐也成為了熱門議題。

1.如何飼養(yǎng)一只貓

如果你得到了一只貓，你會(huì)如何飼養(yǎng)它？我記得我在領(lǐng)回一只貓之后，花了很長(zhǎng)的時(shí)間和腦細(xì)胞用來(lái)商定一個(gè)我和它都能接受的名字。緊接著就是帶著我的小貓去醫(yī)院，制定疫苗計(jì)劃，來(lái)保證我的小貓未來(lái)的健康。后面便是日復(fù)一日的鏟屎和等著主子的眷顧。小王子告訴我：正因?yàn)槟銥槟愕呢埢ㄙM(fèi)了時(shí)間，這才使你的貓如此重要。經(jīng)典的運(yùn)維方式和貓的飼養(yǎng)是一樣的，我們可以稱之為寵物式運(yùn)維。你會(huì)對(duì)機(jī)器和應(yīng)用做詳盡的規(guī)劃，甚至為這個(gè)環(huán)境起一個(gè)名字，比如叫生產(chǎn)好了。你也會(huì)對(duì)這個(gè)環(huán)境悉心照料，定期看看監(jiān)控、做下升級(jí)保養(yǎng)。你為你的環(huán)境花費(fèi)了時(shí)間，你的環(huán)境如此重要。很難設(shè)想你的貓和你的環(huán)境突然間離你而去的場(chǎng)景，也許你會(huì)傷心的撕心裂肺和破產(chǎn)的撕心裂肺。

2.農(nóng)場(chǎng)主入門

在獲得了一只貓之后，你一不留神又獲得了一家牧場(chǎng)。但你可能無(wú)法像養(yǎng)一只貓一樣養(yǎng)幾千頭牛，因?yàn)閹浊€(gè)名字應(yīng)該是很難記住的。

你可能也不會(huì)依次帶著你的牛去醫(yī)院打疫苗，何不直接批發(fā)疫苗統(tǒng)一接種呢。如果有小牛犢存在嚴(yán)重的缺陷，也許你會(huì)陪在它身邊悉心照料，但更可能的是把它盡早的從流程中剔除，省的浪費(fèi)更多的飼料。從此你的生活便目無(wú)全牛，只要為牛群建立足夠多的保障設(shè)施，某一頭牛的狀態(tài)對(duì)整體又有什么影響呢。03

三、放牧式運(yùn)維

當(dāng)你已經(jīng)為上千頭牛建設(shè)了完善的飼養(yǎng)設(shè)施，你會(huì)驚奇的發(fā)現(xiàn)，即使再加 100 頭牛，并不會(huì)增加太多的成本。而不像飼養(yǎng)貓，當(dāng)你有兩只貓的時(shí)候，最好能有 3 個(gè)貓砂盆，否則你將有機(jī)會(huì)體驗(yàn)到雞飛狗跳。你決心當(dāng)一個(gè)牧牛人運(yùn)維，再也不想給生產(chǎn)環(huán)境的主子們鏟屎了。擁抱 Kubernetes，像放牧一樣管理你的應(yīng)用。

1.牧養(yǎng)一群 Pod

你把生產(chǎn)環(huán)境的主子們裝進(jìn)集裝箱，通過(guò)容器鏡像對(duì)部署方式進(jìn)行標(biāo)準(zhǔn)化，誰(shuí)也甭想做非標(biāo)的操作，再使用 Pod 對(duì)應(yīng)用進(jìn)行部署，再也不去關(guān)心應(yīng)用在哪個(gè) Node 上啟動(dòng)，這一切自有牧場(chǎng)（Kubernetes）自行處理。一個(gè) Pod 異常了？沒(méi)關(guān)系，刪掉看看，下次起來(lái)又是一個(gè)全新的應(yīng)用。絲毫不會(huì)影響到牧場(chǎng)的正常運(yùn)轉(zhuǎn)。

一切絲般順滑，歲月靜好。午夜時(shí)分，電話響起，線上告急。你從千呼萬(wàn)釘中醒來(lái)，睡眼朦朧，手忙腳亂。

恍惚之間，終于梳理清楚發(fā)生了什么，原來(lái)是不知何處流量涌現(xiàn)，節(jié)點(diǎn)雪崩。而你就像一個(gè)下水道小工疏通馬桶一般，大力出奇跡，擴(kuò)容機(jī)器，恢復(fù)服務(wù)。pending Pod 消失不見(jiàn)，警告消除。次日，你再也不想重現(xiàn)午夜兇鈴，但陷入深思，身為牧場(chǎng)主的你，逐漸意識(shí)到一個(gè)燈下黑的問(wèn)題。你可以輕松的同質(zhì)化對(duì)待每一頭牛，但你無(wú)法同質(zhì)化整個(gè)牧場(chǎng)。

2.牧養(yǎng)真正的基礎(chǔ)設(shè)施

幾番梳理，你找到了問(wèn)題的關(guān)鍵：盡管可以放牧式管理 Pod，但是機(jī)器的運(yùn)維卻還是寵物式的。你依然會(huì)悉心照料每個(gè)機(jī)器：提前規(guī)劃、取一個(gè)名字、單獨(dú)控制規(guī)格、挑選操作系統(tǒng)，甚至還有幾臺(tái)深得你愛(ài)，噓寒問(wèn)暖，日夜?fàn)繏欤瑩碛袉为?dú)的內(nèi)部昵稱代號(hào)。作為業(yè)界領(lǐng)先的牧場(chǎng)主，你決心改造自己的牧場(chǎng)，如果能像管理 Pod 一樣管理 Node 是不是一個(gè)好主意？如果 Node 異常直接刪除 Node，等著彈出新的？還沒(méi)想完，你后背有些發(fā)涼，你還沒(méi)有像信任容器一樣信任虛機(jī)，雖然你深知重啟可解決 90% 的故障，而重裝系統(tǒng)可以解決 99% 的故障。思來(lái)想去，你依然想做些嘗試，稍加思考，鎖定痛點(diǎn)有二：

• 機(jī)器按需快速?gòu)椏s，同質(zhì)管理
• OS 鏡像化：快速、安全、不可變

3.馴服虛機(jī)

經(jīng)過(guò)調(diào)研，你發(fā)現(xiàn)事情并不像原來(lái)設(shè)想的那樣深不可測(cè)，主流云廠商早就提供了野生工具，你只需要稍加馴服，便可以為自己的牧場(chǎng)服務(wù)。云廠商們很早便推出了彈性伸縮組，可以按照負(fù)載和期望維護(hù)虛擬機(jī)的數(shù)目。而阿里云也有自己的實(shí)現(xiàn)（ESS），可以無(wú)需人工干預(yù)的根據(jù)規(guī)則對(duì) ECS 進(jìn)行擴(kuò)縮容。你看到了希望，這不就是 Node 的 Deployment 嗎？但是只是擴(kuò)容虛擬機(jī)對(duì)你來(lái)說(shuō)并沒(méi)有什么價(jià)值，你深知需要的是牛圈，而不是木材，你需要對(duì)他們進(jìn)行馴服。這時(shí)，你轉(zhuǎn)頭看到了你的 Kubernetes 集群，靈感蹦出，為何要直面虛擬機(jī)呢，只要新擴(kuò)容出的機(jī)器能被納管到集群中不就解決了基本問(wèn)題。說(shuō)干就干，通過(guò) AutoScaling 定義了啟動(dòng)命令，開(kāi)機(jī)后進(jìn)行標(biāo)準(zhǔn)化安裝和執(zhí)行 kube join 動(dòng)作。當(dāng)機(jī)器開(kāi)機(jī)不久，就可以出現(xiàn)在 Kubernetes 集群中。你感覺(jué)距離目標(biāo)進(jìn)了一步。

4.馴服 OS

很快，你又發(fā)現(xiàn)了一個(gè)新的問(wèn)題，傳統(tǒng)的 OS 啟動(dòng)和容器實(shí)在無(wú)法比擬，明明所有的依賴都在容器內(nèi)部，而且所有的應(yīng)用都已經(jīng)在容器內(nèi)運(yùn)行，但你還是不得不為 OS 內(nèi)置的、沒(méi)人使用的服務(wù)買單，這些服務(wù)拖慢了啟動(dòng)速度，還引入了安全漏洞。而且，總是有人意識(shí)不到同質(zhì)化管理的好處，時(shí)不時(shí)有人上機(jī)器做一些不可知的修改，導(dǎo)致你每次想釋放虛機(jī)時(shí)需要去群里喊一喊，避免碰到什么神奇的 Bug。自尋煩惱，你苦笑道。你打算馴服 OS，對(duì)傳統(tǒng)的 OS 進(jìn)行剪裁，除了容器依賴的東西全部清理掉，說(shuō)不好能大大加快機(jī)器的啟動(dòng)速度。還有，最好能在啥地方加個(gè)告示，敬告大家不要在機(jī)器上做寫操作，避免釋放機(jī)器時(shí)文件的丟失。有天，你發(fā)現(xiàn)了阿里云的 ContainerOS，一個(gè)針對(duì)容器剪裁和優(yōu)化的操作系統(tǒng)，你不需要親自動(dòng)手剪裁了，甚至都不再需要加一個(gè)告示，因?yàn)?RootFS 都是只讀的，連 SSH 都不會(huì)默認(rèn)打開(kāi)，從根本上杜絕了非標(biāo)操作。

你嘗試了一下，針對(duì)容器優(yōu)化的 OS 啟動(dòng)賊快，點(diǎn)完彈出，一分鐘后你就可以把業(yè)務(wù)調(diào)度上去了。把 Node 當(dāng)做 Pod 管理，你看到了希望。

四、托管式放牧

但不久，你遇到了一個(gè)新的問(wèn)題，創(chuàng)建機(jī)器一時(shí)爽，你的老板告訴你，你手里有一批機(jī)器存在一個(gè)要緊的 CVE 安全漏洞，需要抓緊時(shí)間搞一搞，你開(kāi)始頭大了，因?yàn)槟阒?，除了存量的?jié)點(diǎn)，現(xiàn)在只要?jiǎng)?chuàng)建新的機(jī)器就有安全漏洞。你有了一種若隱若現(xiàn)的感覺(jué)：你在走向深水區(qū)。

一番探尋后，你聽(tīng)說(shuō)有人提出應(yīng)該像自動(dòng)駕駛一樣去托管一個(gè)集群，也看到了阿里云 ACK 的托管節(jié)點(diǎn)池。節(jié)點(diǎn)的擴(kuò)縮容、節(jié)點(diǎn)故障的自恢復(fù)、安全加固、OS 的托管，無(wú)不觸動(dòng)著你。你意識(shí)到應(yīng)該從根本上解決問(wèn)題：放手自建的 Kubernetes，全面擁抱托管。

擁抱托管后，你豁然開(kāi)朗，原來(lái)事情本應(yīng)如此簡(jiǎn)單，多年的摸索仿佛一顆種子，在看到托管節(jié)點(diǎn)池后瞬間發(fā)芽成果。從此，世界上又開(kāi)始流傳了新三板斧傳統(tǒng)：等等自愈看看？Pod 刪下看看？Node 刪下看看？樸實(shí)無(wú)華且有效。