Kubernetes，是Google開(kāi)源的Docker容器集群管理系統(tǒng)，它構(gòu)建在Docker技術(shù)之上，為容器化的應(yīng)用提供資源調(diào)度、部署運(yùn)行、服務(wù)發(fā)現(xiàn)、擴(kuò)容縮容等一整套功能，本質(zhì)上可看作是基于容器技術(shù)的mini-PaaS平臺(tái)。目前，無(wú)論是公有云還是私有云，甚至混合云，Kubernetes將作為一個(gè)為任何應(yīng)用、任何環(huán)境的容器管理框架無(wú)處不在。正因?yàn)槿绱耍艿礁鞔缶揞^及初創(chuàng)公司的青睞，如Microsoft、VMWare、Red Hat等，紛紛加入Kubernetes的陣營(yíng)。但是，像單機(jī)操作系統(tǒng)Linux一樣，Kubernetes雖然開(kāi)源了，安裝和部署卻相當(dāng)復(fù)雜，需要專(zhuān)業(yè)知識(shí)和專(zhuān)業(yè)團(tuán)隊(duì)。

大數(shù)據(jù)公司百分點(diǎn)集體和云知聲兩家公司都在使用Kubernetes。在百度硅谷AI實(shí)驗(yàn)室資深科學(xué)家王益的協(xié)調(diào)下，兩方合作，成倍地提升了集群利用率和團(tuán)隊(duì)工作效率，并且一起開(kāi)發(fā)了開(kāi)源的Kubernetes“發(fā)行版”Sextant——實(shí)現(xiàn)幾乎零操作的全自動(dòng)安裝和部署Kubernetes集群。目前有多家互聯(lián)網(wǎng)同仁在準(zhǔn)備使用和參與開(kāi)發(fā)。

9月9日，分布式操作系統(tǒng)的“發(fā)行版”：Sextant正式發(fā)布。百度硅谷AI實(shí)驗(yàn)室資深科學(xué)家王益、百分點(diǎn)集團(tuán)技術(shù)副總裁劉譯璟、普惠金融CTO方亮、云知聲聯(lián)合創(chuàng)始人李霄寒，接受了51CTO記者的采訪，對(duì)Docker和Kubernets的運(yùn)維趨勢(shì)進(jìn)行了深入解讀。

[[171641]]

Kubernetes的優(yōu)與劣

Kubernetes提升了團(tuán)隊(duì)工作效率。因?yàn)樗凶鳂I(yè)都由分布式操作系統(tǒng)來(lái)調(diào)度，工程師們也不需要登陸到服務(wù)器。這降低了安全隱患，不需要工程師先登陸“跳板機(jī)”再?gòu)奶鍣C(jī)登陸服務(wù)器，從而提升了工作效率。此外，Kubernetes改變了工程師們的日常工作流程——通過(guò)要求開(kāi)發(fā)團(tuán)隊(duì)交付Docker image而不只是可執(zhí)行文件，Kubernetes簡(jiǎn)化了集成測(cè)試，省去了發(fā)布、打包、部署、執(zhí)行、監(jiān)控、清理垃圾等運(yùn)維工作。Kubernetes帶來(lái)的另一類(lèi)工作效率提升在于降低了并行計(jì)算框架(如MapReduce、Spark、Storm等)的開(kāi)發(fā)難度和成本。開(kāi)發(fā)者不必再套用幾個(gè)成熟的開(kāi)源框架來(lái)寫(xiě)自己的分布式程序，而是可以基于Kubernetes方便地開(kāi)發(fā)自己的并行計(jì)算框架。值得注意的是，基于Kubernetes用Go語(yǔ)言開(kāi)發(fā)的MapReduce框架，其代碼行數(shù)是Hadoop MapReduce的百分之一，這意味著bug概率的極大降低，和處理bug的工作時(shí)間的極大節(jié)省。

Kubernetes集群的安裝需要大量繁瑣的手工操作。因?yàn)镵ubernetes和相關(guān)技術(shù)在高速演進(jìn)，很多手工操作需要重復(fù)執(zhí)行。此外，手工操作數(shù)十臺(tái)甚至數(shù)百臺(tái)服務(wù)器很容易出錯(cuò)。這是目前在技術(shù)研發(fā)工作中碰到的***痛點(diǎn)。

為什么是Sextant

此次將Kubernetes的發(fā)行版命名為Sextant(航海用的六分儀)，是因其和Docker(集裝箱)、Kubernetes(船舵)一樣，都是和航海、船相關(guān)的物品。

說(shuō)到Sextant的研發(fā)初衷，百分點(diǎn)技術(shù)副總裁劉譯璟解釋說(shuō)，百分點(diǎn)在2015年底大約有1000多臺(tái)機(jī)器， CPU的平均利用率只有18%,Hadoop整個(gè)集群利用率將近100%，2016年的數(shù)據(jù)量至少會(huì)增長(zhǎng)50%以上，考慮到成本，百分點(diǎn)團(tuán)隊(duì)希望能夠通過(guò)技術(shù)的力量解決這個(gè)問(wèn)題，而不是購(gòu)買(mǎi)新機(jī)器。

在百度硅谷AI實(shí)驗(yàn)室資深科學(xué)家王益的建議下，決定從Kubernetes入手，希望把百分點(diǎn)Web以及大數(shù)據(jù)的應(yīng)用在Kubernetes搭建起來(lái)?？紤]到Kubernetes安裝和部署的復(fù)雜性，急需一套快捷的自動(dòng)化的部署工具，把Kubernetes整個(gè)集群構(gòu)建起來(lái)。云知聲的主要業(yè)務(wù)是人工智能，機(jī)器學(xué)習(xí)，在這方面可以和百分點(diǎn)互補(bǔ)，于是，在王益的協(xié)調(diào)下，百分點(diǎn)和云知聲兩家公司，本著研發(fā)出快速部署、安裝Kubernetes工具的目標(biāo)，合作組建了研發(fā)團(tuán)隊(duì)。

經(jīng)過(guò)一個(gè)多月的努力，Sextant的***個(gè)版本誕生了。為了方便重裝系統(tǒng)，Sextant會(huì)在數(shù)據(jù)中心中的一臺(tái)bootstrapper服務(wù)器上部署PXE service，然后依次重啟其他服務(wù)器。這些服務(wù)器啟動(dòng)的時(shí)候，BIOS/EFI從PXE service引導(dǎo)CoreOS，并將CoreOS安裝到本地磁盤(pán)，并配置Kubernetes，隨后重啟服務(wù)器，這臺(tái)服務(wù)器便可自動(dòng)成為Kubernetes集群的一員了。為了將這種變化限定于數(shù)據(jù)中心里的一部分服務(wù)器，Sextant可以利用VLAN等隔離措施。因?yàn)镵ubernetes是以容器的形式運(yùn)行的，而每當(dāng)Kubernetes升級(jí)時(shí)，Sextant將升級(jí)版本的容器鏡像放到bootstrapper服務(wù)器上，集群即可自動(dòng)升級(jí)Kubernetes。每當(dāng)CoreOS升級(jí)的時(shí)候，Sextant也將新版本放到bootstrapper服務(wù)器上，CoreOS會(huì)自動(dòng)升級(jí)和重啟，并且保證每次同時(shí)重啟的機(jī)器數(shù)量是集群總數(shù)的一個(gè)極小的比例，不影響不中斷Kubernetes調(diào)度的分布式作業(yè)。所有的升級(jí)和安裝，都不依賴(lài)集群可以直接訪問(wèn)互聯(lián)網(wǎng)，從而保證了安全性。

強(qiáng)強(qiáng)聯(lián)合，開(kāi)辟全新的合作圖景

云知聲聯(lián)合創(chuàng)始人李霄寒介紹說(shuō)，近年來(lái)，語(yǔ)音和視覺(jué)技術(shù)隨深度學(xué)習(xí)的進(jìn)一步發(fā)展，創(chuàng)造了IoT、AR和無(wú)人車(chē)等新興領(lǐng)域。未來(lái)的互聯(lián)網(wǎng)會(huì)和人們的生活契合得更緊密，收集更多更細(xì)致的數(shù)據(jù)，也需要更大規(guī)模人工智能技術(shù)的支持。而這些恰好是百分點(diǎn)和云知聲的業(yè)務(wù)基礎(chǔ)和技術(shù)長(zhǎng)項(xiàng)。Kubernetes提供了一個(gè)合作的平臺(tái)：Kubernetes可以同時(shí)調(diào)度離線和在線作業(yè)。尤其是Kubernetes的service和load balancer的概念，使其可以調(diào)度在線服務(wù)、日志收集處理和存儲(chǔ)、AI模型的訓(xùn)練等各類(lèi)不同的作業(yè)。在有Kubernetes之前，公司之間的合作往往是松耦合的;而在Kubernetes平臺(tái)上，開(kāi)發(fā)團(tuán)隊(duì)可以同時(shí)運(yùn)行百分點(diǎn)的EFK技術(shù)用于收集和管理數(shù)據(jù)，以及云知聲的大規(guī)模AI系統(tǒng)從數(shù)據(jù)中提取知識(shí)和提升服務(wù)質(zhì)量。

對(duì)金融界的意義

據(jù)普惠金融CTO方亮介紹，互聯(lián)網(wǎng)金融的核心有兩點(diǎn)：一是去中心化，二是風(fēng)控。在互聯(lián)網(wǎng)金融領(lǐng)域，需要不斷尋找各種各樣的數(shù)據(jù)，包括像百分點(diǎn)這樣的第三方提供的數(shù)據(jù)，自己的爬蟲(chóng)數(shù)據(jù)，還有一些自由數(shù)據(jù)。如何把這些數(shù)據(jù)處理好，不管是傳統(tǒng)基于統(tǒng)計(jì)的風(fēng)控模型，還是基于***的一些人工智能，深度學(xué)習(xí)這種新方式做模型，都需要很大的計(jì)算資源。如何組織好這些計(jì)算資源，讓它們有彈性，可以擴(kuò)展，能夠?yàn)轱L(fēng)控、為真正金融消費(fèi)者服務(wù)，Kubernetes等容器技術(shù)給互聯(lián)網(wǎng)金融帶來(lái)了變革。

Sextant是一個(gè)早期開(kāi)源項(xiàng)目，隨著Kubernetes技術(shù)的演進(jìn)，Sextant還需要長(zhǎng)期維護(hù)開(kāi)發(fā)。百分點(diǎn)和云知聲的技術(shù)團(tuán)隊(duì)以充分開(kāi)放的心態(tài)，愿意分享各自業(yè)務(wù)中Kubernetes技術(shù)的使用經(jīng)驗(yàn)。也愿意幫助業(yè)界同仁使用Sextant簡(jiǎn)化Kubernetes部署。百分點(diǎn)和云知聲都表示歡迎相關(guān)技術(shù)人員一起合作投入到Sextant的開(kāi)發(fā)工作中，為提升團(tuán)隊(duì)工作效率和計(jì)算能力共同努力!