Docker容器技術(shù)已在云計(jì)算市場(chǎng)中風(fēng)靡一時(shí)了，而眾多主流供應(yīng)商則面臨著技術(shù)落后的窘境。那么，是什么讓Docker容器技術(shù)變得如此受歡迎呢？對(duì)于剛?cè)腴T(mén)的新手來(lái)說(shuō)，容器技術(shù)可實(shí)現(xiàn)不同云計(jì)算之間應(yīng)用程序的可移植性，以及提供了一個(gè)把應(yīng)用程序拆分為分布式組件的方法。此外，用戶還可以管理和擴(kuò)展這些容器成為集群。

 

    在這樣的背景下，騰訊互聯(lián)網(wǎng)基礎(chǔ)服務(wù)運(yùn)維負(fù)責(zé)人孫亮、Hyper聯(lián)合創(chuàng)始人&CTO王旭、時(shí)速云聯(lián)合創(chuàng)始人楊樂(lè)、搜狗應(yīng)用云平臺(tái)高級(jí)工程師裴彤以及數(shù)人科技COO謝樂(lè)冰親臨現(xiàn)場(chǎng)，給現(xiàn)場(chǎng)聽(tīng)眾帶來(lái)了精彩的技術(shù)分享。

 

    本次技術(shù)沙龍由時(shí)速云聯(lián)合創(chuàng)始人王磊主持，對(duì)大家能在周末抽時(shí)間參加此次Docker & Kubernetes技術(shù)沙龍表示歡迎和衷心的感謝。

 

 

 

    騰訊互聯(lián)網(wǎng)基礎(chǔ)服務(wù)運(yùn)維負(fù)責(zé)人孫亮從無(wú)狀態(tài)服務(wù)器和運(yùn)維體系、容器虛擬化實(shí)現(xiàn)，隔離和生產(chǎn)、Docker應(yīng)用淺嘗這三個(gè)方面介紹了騰訊在社交網(wǎng)絡(luò)技術(shù)運(yùn)營(yíng)中對(duì)容器的應(yīng)用。

 

    在隔離方案的描述中，孫亮提到資源隔離主要是通過(guò)namespace進(jìn)行環(huán)境隔離，通過(guò)cgroup進(jìn)行資源隔離，而且他們禁用了swap交換空間，這樣可以將隔離做的更加徹底。對(duì)于網(wǎng)絡(luò)，他們主要使用的是Docker的bridge網(wǎng)絡(luò)方式，偶爾也會(huì)用到host網(wǎng)絡(luò)方式，而對(duì)于net這種網(wǎng)絡(luò)方式基本不會(huì)使用，因?yàn)樵贗P獲取方面存在一定的難度。對(duì)于內(nèi)核增強(qiáng)方面，他們將CPU、內(nèi)存做到了對(duì)子機(jī)不可見(jiàn)，因?yàn)檫@樣可以兼容網(wǎng)管監(jiān)控，并且為了防止母機(jī)進(jìn)程數(shù)過(guò)多，他們限制了子機(jī)的進(jìn)程總數(shù)。

 

    ***，在簡(jiǎn)單介紹“推薦騰訊虛擬機(jī)Docker平臺(tái)——GAIA”的整體架構(gòu)后，有位同學(xué)問(wèn)到了騰訊云中Docker容器的熱遷移是怎么實(shí)現(xiàn)的，孫亮解答說(shuō)關(guān)鍵點(diǎn)在于解決了文件拷貝速度的問(wèn)題。

 

 

    Hyper的CTO王旭首先介紹Docker是由Container（LXC）加上Layered Image（AUFS）構(gòu)成的一個(gè)以應(yīng)用為核心的工具，他對(duì)Docker的理解是一個(gè)應(yīng)用以及這個(gè)應(yīng)用所需環(huán)境的封裝。由此，他引出了Hyper是由Hypervisor加上Docker Image構(gòu)成的一種以應(yīng)用為中心的虛擬化，Hyper直接在hypervisor上啟動(dòng)容器。

 

    接著，王旭給大家展示了Hyper的性能和開(kāi)銷(xiāo)，雖然啟動(dòng)時(shí)間沒(méi)有達(dá)到Docker容器的水平，但是相對(duì)于虛擬機(jī)的啟動(dòng)速度來(lái)說(shuō)快了很多，大概是350到500ms。對(duì)于Hyper的主要工作方式，他介紹到Hyper減少了虛擬機(jī)這一中間層（現(xiàn)在大家基本是在虛擬機(jī)之上運(yùn)行Docker），使用Pod將相關(guān)的容器一次性都啟起來(lái)，讓這些容器共享IPC和Netns，這樣這些相關(guān)的容器就具備了很好的通信性能。

 

    ***，王旭介紹了HyperStack，這個(gè)集Kubernetes、Hyper、Neutron和Openstack為一體的工具，并表示他對(duì)CaaS將成為下一個(gè)云計(jì)算主流的平臺(tái)的信心。

 

 

    時(shí)速云聯(lián)合創(chuàng)始人楊樂(lè)以容器集群管理模型為切入點(diǎn)，介紹了Kubernetes的目的就是為了管理容器集群，包括資源調(diào)度、生命周期、健康檢查、實(shí)例伸縮模塊等。Kubernetes可以見(jiàn)母機(jī)集群組成一個(gè)大的資源池，通過(guò)資源調(diào)度模塊進(jìn)行資源的分配。同時(shí)，將母機(jī)集群組成了一個(gè)整體的SDN虛擬網(wǎng)絡(luò)，為容器提供了跨機(jī)通信，而從提供了容器的跨機(jī)服務(wù)。

 

    接著，楊樂(lè)給大家詳細(xì)介紹了Kubernetes的基本概念，包括Pod、RC（Replication Controller）、Services和Label。***，他談到了Kubernetes的優(yōu)勢(shì)及特征，主要是解決了Docker上的一些不足，主要是：

 

    網(wǎng)絡(luò)模型上，做到容器的跨主機(jī)互通，建立了一個(gè)整體的SDN虛擬網(wǎng)絡(luò)，使用NAT做內(nèi)網(wǎng)映射；

 

    服務(wù)發(fā)現(xiàn)上，主要是通過(guò)設(shè)置環(huán)境變量和安裝插件；

 

    資源限制上，主要是限制了Docker的CPU、內(nèi)存等資源；

 

    存儲(chǔ)上，主要是解決了Pod重啟數(shù)據(jù)丟失和同一Pod中容器共享存儲(chǔ)的問(wèn)題。

 

 

    搜狗應(yīng)用云平臺(tái)高級(jí)工程師裴彤在介紹完自己之后，以“鐵路軌距的故事”作為引子，引出了搜狗工程師們對(duì)Docker的一些看法，即Docker的理念很前衛(wèi)，但是不適合現(xiàn)有的開(kāi)發(fā)和運(yùn)維，不能兼容一些平臺(tái)及工具，所以，他們想將Docker打造成一種虛擬機(jī)，從而可以從傳統(tǒng)虛擬機(jī)平滑地過(guò)渡到Docker上。

 

    接著，裴彤介紹了從Docker變成虛擬機(jī)的整個(gè)過(guò)程，主要包括：

 

    （1）將Container加入到虛擬機(jī)的cgroup中；

 

    （2）網(wǎng)絡(luò)上，使用自定義的bridge，將Container的網(wǎng)絡(luò)方式設(shè)置為none，然后自己指定container的IP、子網(wǎng)掩碼和網(wǎng)關(guān)，并將這些配置寫(xiě)到Docker env中，***創(chuàng)建veth pair，打通網(wǎng)橋和container之間的通信；

 

    （3）存儲(chǔ)上，使用宿主機(jī)的本地存儲(chǔ)，利用cgroup對(duì)lv卷進(jìn)行iops、bps的限制；

 

    （4）對(duì)于Metrics信息，分為兩方面。一方面，對(duì)于CPU和內(nèi)存的相關(guān)信息從cgroup中進(jìn)行收集；另一方面，對(duì)于網(wǎng)卡流量，從宿主機(jī)的/proc/net/dev上手機(jī)Container veth pair對(duì)端的流量，由于veth pair的特性，對(duì)端流入流量即為Container流出流量，而對(duì)端的流出流量即為Container的流入流量。

 

    “有了虛擬機(jī)后，就可以進(jìn)行集群的構(gòu)建，主要是使用數(shù)據(jù)庫(kù)記錄宿主機(jī)、虛擬機(jī)和IP資源池等信息，然后編寫(xiě)程序進(jìn)行虛擬機(jī)的增刪改查以及IP的動(dòng)態(tài)分配，從而構(gòu)建了一個(gè)IaaS平臺(tái)”裴彤介紹說(shuō)，基于這個(gè)IaaS平臺(tái)，可以進(jìn)行以下三種用途：

 

    （1）替代部分KVM虛擬機(jī)；

 

    （2）構(gòu)造一個(gè)PaaS平臺(tái)，從應(yīng)用視角出發(fā)，對(duì)Docker虛擬機(jī)進(jìn)行組織管理；

 

    （3）構(gòu)建MySQL數(shù)據(jù)庫(kù)云。

 

 

 

    數(shù)人科技COO謝樂(lè)冰主要是以一個(gè)項(xiàng)目經(jīng)理的角度介紹了他們的分布式爬蟲(chóng)系統(tǒng)。首先，他介紹了分布式和微服務(wù)的有點(diǎn)，主要包括：

 

    （1）特定模塊單獨(dú)開(kāi)發(fā)與測(cè)試；

 

    （2）容器對(duì)特定模塊進(jìn)行橫向擴(kuò)張；

 

    （3）服務(wù)（及代碼）的可重用；

 

    （4）離線與在線可以混合部署。

 

    在介紹完分布式爬蟲(chóng)系統(tǒng)的CheckList（包括服務(wù)單元功能單一、計(jì)算模塊要做到“無(wú)狀態(tài)”、任何服務(wù)不能單點(diǎn)必須做成集群、模塊間接口盡量異步、分布式配置管理以及各個(gè)層面的監(jiān)控與日志方案）后，謝樂(lè)冰給我們分享了一個(gè)經(jīng)驗(yàn)。

 

    “不要在一個(gè)Container中加載一個(gè)過(guò)重的進(jìn)程，可以將這個(gè)進(jìn)程解耦成多個(gè)輕量的進(jìn)程，分別運(yùn)行在不同的Container中，因?yàn)镃ontainer本身就是比較輕量的，所以盡量讓Container中運(yùn)行輕量的進(jìn)程。”

***，謝樂(lè)冰以“朝陽(yáng)區(qū)群眾”為例，提出日志與監(jiān)控的重要性，并介紹了分布式爬蟲(chóng)系統(tǒng)中的日志與監(jiān)控。