最近幾年很多公司實(shí)現(xiàn)了從VMware等傳統(tǒng)虛擬化到IaaS的轉(zhuǎn)型，很多公司正在或者已經(jīng)建立PaaS平臺(tái)。那么從項(xiàng)目研發(fā)角度看，PaaS產(chǎn)品的系統(tǒng)功能應(yīng)該主要涵蓋哪些，又該如何更好的為應(yīng)用研發(fā)人員服務(wù)呢?本文由云計(jì)算專家bryan根據(jù)社區(qū)活動(dòng)中的分享交流所整理。

一.PaaS 建議的意義何在，能夠給企業(yè)帶來(lái)哪些價(jià)值?

1. 實(shí)現(xiàn)應(yīng)用運(yùn)行環(huán)境的標(biāo)準(zhǔn)化，提升交付速度：通過(guò)容器的鏡像技術(shù)保證開發(fā)測(cè)試和生產(chǎn)等諸多標(biāo)準(zhǔn)化，避免因應(yīng)用運(yùn)行環(huán)境不一致帶來(lái)的各種故障和問(wèn)題，同時(shí)，通過(guò)服務(wù)編排實(shí)現(xiàn)運(yùn)行環(huán)境的自動(dòng)化運(yùn)維和快速交付，避免傳統(tǒng)方式的應(yīng)用系統(tǒng)運(yùn)行復(fù)雜、交付周期較長(zhǎng)等問(wèn)題;

2. 實(shí)現(xiàn)運(yùn)維過(guò)程的高度自動(dòng)化，降低運(yùn)維成本：PaaS 平臺(tái)提供多種自動(dòng)化運(yùn)維工具管理應(yīng)用集群系統(tǒng)，比如智能負(fù)載可以實(shí)時(shí)觀測(cè)集群節(jié)點(diǎn)的變化并智能修改路由配置，自動(dòng)伸縮可以實(shí)現(xiàn)不同業(yè)務(wù)負(fù)載下集群規(guī)模的自動(dòng)調(diào)整等，多種管理功能的自動(dòng)化減少人工運(yùn)維工作量，節(jié)省運(yùn)維成本;

3. 有效提升基礎(chǔ)資源的管理水平和硬件利用效率：PaaS 平臺(tái)資源的容器是基于操作系統(tǒng)的虛擬化，與 IaaS 基礎(chǔ)環(huán)境實(shí)現(xiàn)解耦，平臺(tái)自身的實(shí)現(xiàn)多數(shù)是應(yīng)用較廣的開發(fā)框架和標(biāo)準(zhǔn) API，能夠有效提升資源管理水平，有效避免廠商綁定;同時(shí)，合理調(diào)整單個(gè)操作系統(tǒng)之上容器密度的有效部署，可以更好提升資源使用率，降低硬件采購(gòu)成本;

4. 有效實(shí)現(xiàn)軟件研發(fā)的技術(shù)路徑統(tǒng)一和把控研發(fā)質(zhì)量：通過(guò)運(yùn)行環(huán)境的標(biāo)準(zhǔn)化可真正做到全公司技術(shù)路線的精細(xì)把控，做到統(tǒng)一不同項(xiàng)目組的技術(shù)研發(fā)路線，通過(guò)部署工具的統(tǒng)一可以做到 CI/CD 思想的有效落地實(shí)施，有效提升軟件研發(fā)過(guò)程的質(zhì)量把控水平;

5. 有效提升公司 IT 架構(gòu)治理：相較于傳統(tǒng)開發(fā)運(yùn)維各司其職的模式，PaaS 能有效實(shí)現(xiàn) devops 思維的落地實(shí)施，推動(dòng)企業(yè) IT 流程和人員架構(gòu)的企業(yè)治理，更好的提升 IT 部門各個(gè)研發(fā)團(tuán)隊(duì)的整體技術(shù)水平，從而更好的響應(yīng)業(yè)務(wù)需求。

[[205424]]

二. PaaS 的主要技術(shù)有哪些?企業(yè)如何進(jìn)行建設(shè)?

PaaS 主要以容器云形式實(shí)現(xiàn)，容器云依賴容器基礎(chǔ)技術(shù)，目前常見的有 Docker 和 garden 兩種類型，其中 BAT、京東、華為和網(wǎng)易等互聯(lián)網(wǎng)公司，還有一些大型商業(yè)銀行更多的選擇 docker 技術(shù)，當(dāng)然也不乏 garden 成功案例，但較之 docker 案例相對(duì)較少。

獨(dú)木難成林，容器要云化形式提供服務(wù)，必須以多個(gè)容器形成集群的方式，此時(shí)如何管理和調(diào)度集群是一個(gè)重要的任務(wù)，這個(gè)任務(wù)由編排引擎進(jìn)行實(shí)現(xiàn)，目前比較流行的有 kubernetes、swarm 等。因此「容器技術(shù)+編排引擎」構(gòu)成了容器云最初始的框架，當(dāng)然要達(dá)到企業(yè)級(jí)應(yīng)用還需要做更多企業(yè)級(jí)的功能，所以就出現(xiàn)了諸如 openshift、阿里飛天、華為等各種以開源軟件為基礎(chǔ)構(gòu)建的多種產(chǎn)品。

那么企業(yè)在建設(shè)云的過(guò)程中需要考慮幾個(gè)問(wèn)題：

• 容器技術(shù)的選擇：盡量選擇市場(chǎng)比較流行的開源社區(qū)和生態(tài)發(fā)展比較完善的技術(shù)，編排引擎的框架選擇遵循同樣道理;
• 建設(shè)模式：一種方式是購(gòu)買產(chǎn)品進(jìn)行企業(yè)落地化定制化，一種方式是基于開源框架自研，兩種方式各有優(yōu)劣，需要結(jié)合企業(yè)自身特點(diǎn)進(jìn)行總體考慮;
• 建設(shè)規(guī)劃：PaaS 的建設(shè)涵蓋很多方面，甚至需要企業(yè)流程和企業(yè) IT 架構(gòu)的梳理和調(diào)整，因此對(duì)大中型企業(yè)來(lái)講不可能一蹴而就，需要一個(gè)循序漸進(jìn)的過(guò)程，這也與企業(yè)發(fā)展和自身技術(shù)特點(diǎn)有關(guān)系

三. 容器云的負(fù)載均衡如何選擇?

軟件負(fù)載有硬件 F5 和軟件 HAProxy、nginx 等。F5 的特點(diǎn)是價(jià)格貴、性能好，一般在物理機(jī)和虛擬機(jī)化時(shí)間做 LB;nginx 是一款 HTTP 服務(wù)器和反向代理服務(wù)器，可以提供 7 層負(fù)載均衡能力，主要應(yīng)用場(chǎng)景有 web 服務(wù)器、反向代理、負(fù)載均衡等

HAProxy 是一款專業(yè)的負(fù)載均衡軟件，可提供 4/7 層負(fù)載均衡，比 nginx 負(fù)載均衡性能好，并發(fā)上也優(yōu)于 nginx。負(fù)載均衡的選擇需要和企業(yè)自身特點(diǎn)和具體業(yè)務(wù)場(chǎng)景相關(guān)聯(lián)，在 PaaS 的企業(yè)級(jí)產(chǎn)品中更多的選擇 HAproxy

四. PaaS 的日志和監(jiān)控如何進(jìn)行處理?

PaaS 平臺(tái)的日志和監(jiān)控和傳統(tǒng)架構(gòu)的管理方式?jīng)]有本質(zhì)區(qū)別。日志的獲取或采用安裝 agent、或采用工具導(dǎo)出，業(yè)界已經(jīng)都有很多成熟的產(chǎn)品和案例可以借鑒;監(jiān)控分兩部分，先要解決「監(jiān)」的問(wèn)題，同樣也需要利用工具抓取信息，然后解決「控」，要么利用自動(dòng)化運(yùn)維的模式，要么采用手工的模式，目的其實(shí)一樣，區(qū)別在于成本控制。

PaaS 可以從系統(tǒng)、網(wǎng)絡(luò)、服務(wù)、應(yīng)用監(jiān)控 4 個(gè)層面入手：

1. 系統(tǒng)主要指底層基礎(chǔ)資源，如磁盤、CPU、硬件或 IaaS 等基礎(chǔ)資源

2. 網(wǎng)絡(luò)一般采用 SDN 的方式實(shí)現(xiàn)，監(jiān)控比較復(fù)雜，主要有連通性、流量、7 層狀態(tài)碼等

3. 服務(wù)主要是指 PaaS 中的各種中間件服務(wù)服務(wù)，比如數(shù)據(jù)庫(kù)服務(wù)、緩存服務(wù)、web 應(yīng)用服務(wù)等

4. 應(yīng)用監(jiān)控是最上層的也是非常重要的，比如應(yīng)用服務(wù)質(zhì)量、響應(yīng)時(shí)間、請(qǐng)求成功率等

五. PaaS 如何更好的實(shí)現(xiàn) CI/CD，實(shí)現(xiàn)應(yīng)用敏捷開發(fā)

PaaS 平臺(tái)的一個(gè)核心理念是為應(yīng)用提供各種基礎(chǔ)中間件服務(wù)和進(jìn)行應(yīng)用集群的管理。devops 是一種貫徹項(xiàng)目研發(fā)全生命周期的軟件研發(fā)理論，打破傳統(tǒng)的研發(fā)部門和運(yùn)維部門涇渭分明的現(xiàn)象，盡量實(shí)現(xiàn)團(tuán)隊(duì)將研發(fā)和運(yùn)維進(jìn)行統(tǒng)一結(jié)合的模式，這種理念落地實(shí)施需要借助一定工具。CI 是持續(xù)集成，可以實(shí)現(xiàn)代碼自動(dòng)化的靜態(tài)檢查、動(dòng)態(tài)檢查、安全檢查和單元測(cè)試、集成測(cè)試等功能，從而實(shí)現(xiàn)代碼的盡快盡早集成，減少后期發(fā)現(xiàn)問(wèn)題的概率、降低項(xiàng)目風(fēng)險(xiǎn);CD 是持續(xù)部署或者持續(xù)發(fā)布，這種持續(xù)部署采用自動(dòng)化工具，能夠有效提高系統(tǒng)環(huán)境的部署效率和升級(jí)更新時(shí)業(yè)務(wù)的連續(xù)性。

jenkins 可視作一個(gè)平臺(tái)，在這個(gè)平臺(tái)中一方面可以用戶定制各種插件，一方面可以將所有的工作以流程化的形式 (pipeline) 串聯(lián)起來(lái)。這樣可以將 CI/CD 的思維通過(guò) jenkins 的落地實(shí)施來(lái)貫徹執(zhí)行，同時(shí) CI/CD 有多種自動(dòng)化管理功能，而 PaaS 中的相關(guān)系統(tǒng)部署或者更新升級(jí)或者項(xiàng)目研發(fā)過(guò)程使用的環(huán)境都可以自動(dòng)化，于是二者可以很好的進(jìn)行關(guān)聯(lián)。

Devops 理念的落地實(shí)現(xiàn)，可通過(guò) jinkins 中配置自動(dòng)化的 CI/CD 流程，更好的與 PaaS 進(jìn)行深度集成，從而提高軟件研發(fā)效率和軟件研發(fā)質(zhì)量。詳情可以參考鏈接

六. PaaS 的研究過(guò)程中有哪些關(guān)鍵技術(shù)點(diǎn)和難點(diǎn)，一般市場(chǎng)是如何選擇的?

PaaS 作為一個(gè)綜合性的平臺(tái)，在以」容器+編排引擎」的基礎(chǔ)上有諸多關(guān)鍵技術(shù)點(diǎn)和難點(diǎn)，本次主要以開源框架和一些市場(chǎng)產(chǎn)品為依托，主要講述關(guān)鍵點(diǎn)的實(shí)現(xiàn)

1. 容器技術(shù)的選擇：容器技術(shù)是整個(gè)平臺(tái)的基石，猶如開發(fā) web 需要選擇開發(fā)語(yǔ)言一樣，目前有 docker 和 garden 兩種主流技術(shù)，自研技術(shù)選擇時(shí)盡量選擇技術(shù)相對(duì)成熟、企業(yè)應(yīng)用案例相對(duì)較多、技術(shù)生態(tài)圈發(fā)展更多的技術(shù)，一般建議選擇 docker，如果華為的 PaaS 產(chǎn)品初期選擇 garden，目前也已轉(zhuǎn)向了 docker，docker 已經(jīng)成為一種事實(shí)上的標(biāo)準(zhǔn)。

2. 編排引擎的選擇：編排引擎的選擇一般會(huì)依賴容器技術(shù)路線的選擇，比如 docker 容器可以選擇 kubernetes、swarm 等框架，garden 可以選擇 cloud foundry，并且僅此選擇。在 BAT、華為、京東等互聯(lián)網(wǎng)公司中，選擇 docker 系的產(chǎn)品更多的選擇了 kubernetes，或許源于此框架出自 google 大家之手

3. 元數(shù)據(jù)存儲(chǔ)的框架選擇：由于整個(gè) PaaS 的元數(shù)據(jù)需要一個(gè)高可用的存儲(chǔ)結(jié)構(gòu)，以便用作服務(wù)發(fā)現(xiàn)或共享元數(shù)據(jù)配置的相關(guān)元數(shù)據(jù)信息。基于 zookeeper 的性能和復(fù)雜性等問(wèn)題考慮，更多的選擇 etcd 框架進(jìn)行使用，openshift、阿里等產(chǎn)品均采用了此框架

4.PaaS 容器網(wǎng)絡(luò)的選擇：容器的網(wǎng)絡(luò)隔離是 PaaS 資源隔離的一個(gè)重要組成部分，每個(gè)容器的網(wǎng)絡(luò)多采用內(nèi)部 SDN 網(wǎng)絡(luò)，SDN 網(wǎng)絡(luò)的實(shí)現(xiàn)技術(shù)各不相同，一般主要考慮因素是網(wǎng)絡(luò)的性能和網(wǎng)絡(luò)變化的靈活性等因素。開源 kubernetes 采用 flannel 框架，openshift 的產(chǎn)品中考慮到網(wǎng)絡(luò)性能等采用了 open vswitch，京東在經(jīng)過(guò)各種研究后采用了基于 BGP 路由方式的 Calico

5.CI/CD 的工具選擇：隨著最近幾年微軟對(duì) docker 技術(shù)的支持力度加大，各種產(chǎn)品，比如 window server 2016、TFS 等逐漸實(shí)現(xiàn)對(duì) docker 的支持。TFS(team foundation server)的產(chǎn)品定位與 jenkins 類似。所以在 CI/CD 的技術(shù)落地過(guò)程中可以選擇 TFS 或者 jenkins，不過(guò)大家更廣發(fā)的采用 jenkins，并且有研發(fā)能力的均對(duì)其進(jìn)行一定程度的插件研發(fā)和定制

6. 日志框架的選擇：在集群環(huán)境中如何管理不同節(jié)點(diǎn)的日志是一個(gè)重要的問(wèn)題，并且目前有一套成熟的解決方案。ElasticSearch+Logstash+Kinana(ELK)已成為一種通用解決方案

7. 負(fù)載均衡的選擇：負(fù)載均衡需要在容器集群的容器成員發(fā)生變化時(shí)能夠自動(dòng)感知和自動(dòng)修改路由策略，硬件 F5 和軟負(fù)載 HAProxy、Nginx 均可做負(fù)載均衡，鑒于 HAProxy 的靈活性，更多的產(chǎn)品或者企業(yè)落地均選擇了 HAProxy

8. 域名的使用：容器集群中的某個(gè)應(yīng)用可以視作一個(gè)對(duì)外提供的服務(wù)，如果采用 IP，一方面不方便記憶，一方面 IP 有可能改變，因此 PaaS 產(chǎn)品多采用泛域名的形式，將對(duì)外提供服務(wù)的 IP 地址和域名關(guān)聯(lián)對(duì)應(yīng)，然后再提供一個(gè) route 記錄對(duì)外提供服務(wù)的 IP 地址(frontend)和內(nèi)部集群 IP 地址(backend)，這樣就可以實(shí)現(xiàn)從外部域名到內(nèi)部集群 IP 地址的訪問(wèn)。

PaaS 平臺(tái)的建議是一個(gè)長(zhǎng)期的過(guò)程，需要不斷持續(xù)的進(jìn)行迭代優(yōu)化，并且隨著在 PaaS 之上運(yùn)行應(yīng)用系統(tǒng)的增多和使用經(jīng)驗(yàn)的不斷豐富，對(duì) PaaS 平臺(tái)會(huì)有更多深入的認(rèn)知和體會(huì)。因此我們也希望論壇上從事這塊研究和實(shí)踐的朋友能夠更多的進(jìn)行技術(shù)交流，從而加深技術(shù)了解，讓 PaaS 在企業(yè)內(nèi)部更好的發(fā)揮其價(jià)值和優(yōu)勢(shì)。