摘 要

IT公司的數(shù)據(jù)平臺(tái)是支撐大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)決策支持的重要基礎(chǔ)設(shè)施，隨著大數(shù)據(jù)及人工智能技術(shù)的發(fā)展，大數(shù)據(jù)集群規(guī)模變得越來越大。然而，如何快速、高效的管理好成千上萬臺(tái)的大數(shù)據(jù)集群成為了很多大數(shù)據(jù)工程師的奮斗目標(biāo)，設(shè)計(jì)實(shí)現(xiàn)合理的自動(dòng)化運(yùn)維系統(tǒng)將使大數(shù)據(jù)集群的管理事半功倍。

本文將從大數(shù)據(jù)集群面臨的挑戰(zhàn)、自動(dòng)化運(yùn)維系統(tǒng)的設(shè)計(jì)原則、工具選擇等方面闡述大數(shù)據(jù)集群的自動(dòng)化運(yùn)維實(shí)現(xiàn)思路。

大數(shù)據(jù)集群面臨的挑戰(zhàn)

Hadoop生態(tài)系統(tǒng)組件： 

1、服務(wù)器規(guī)模大

由于海量數(shù)據(jù)的存儲(chǔ)需求，大數(shù)據(jù)集群通常服務(wù)器規(guī)模比較大，例如，阿里巴巴云梯Hadoop集群、騰訊TDW系統(tǒng)單個(gè)集群均超過5000臺(tái)的服務(wù)器，幾百臺(tái)至上千臺(tái)服務(wù)器規(guī)模的集群非常普遍，集群規(guī)模的增長對(duì)故障響應(yīng)、跨機(jī)房容災(zāi)等方面提出了更高的需求。

2、組件之間的依賴關(guān)系復(fù)雜

大數(shù)據(jù)集群通常需要部署多個(gè)框架，Hadoop生態(tài)系統(tǒng)包含了分布式存儲(chǔ)、分布式就算、NoSQL系統(tǒng)、實(shí)時(shí)計(jì)算、流式計(jì)算、數(shù)據(jù)倉庫等各個(gè)組件，以Hadoop本身為例，YARN及Hbase依賴HDFS系統(tǒng)，而HDFS系統(tǒng)又包括Namenode、SecondaryNamenode、Datanode等不同的角色，各個(gè)角色之間的啟動(dòng)也有依賴順序關(guān)系。

3、 橫向/縱向擴(kuò)展需求多

從橫向擴(kuò)展來看，大數(shù)據(jù)集群通常需要隨著數(shù)據(jù)量的增長而進(jìn)行集群的擴(kuò)容，從縱向擴(kuò)展來看，每個(gè)公司的不同產(chǎn)品、不同業(yè)務(wù)線需要部署多個(gè)不同的集群。

4、故障處理頻繁

由于集群規(guī)模大，服務(wù)器多，大數(shù)據(jù)集群的硬件故障、系統(tǒng)故障等問題發(fā)生頻繁，以我曾經(jīng)負(fù)責(zé)的大數(shù)據(jù)集群來看，總計(jì)三千臺(tái)服務(wù)器，超過6萬塊硬盤，每周更換的損壞磁盤在40塊左右，這種故障頻率對(duì)傳統(tǒng)的故障處理流程帶來了挑戰(zhàn)，亟須建立自動(dòng)化的故障處理方式來簡化工作量。

為什么大數(shù)據(jù)平臺(tái)更適合自動(dòng)化運(yùn)維?

1、軟件體系高度標(biāo)準(zhǔn)化

目前，IT公司的的大數(shù)據(jù)平臺(tái)普遍采用Hadoop生態(tài)系統(tǒng)各個(gè)組件，開源產(chǎn)品的工具設(shè)計(jì)更注重通用性、標(biāo)準(zhǔn)化等方面的要求，因此，在軟件的自動(dòng)構(gòu)建(普遍采用Maven工具)、API、測(cè)試用例(普遍實(shí)現(xiàn)了單元測(cè)試)、指標(biāo)監(jiān)控(http接口)等均具比各類自研系統(tǒng)更加規(guī)范。

2、服務(wù)器配置高度收斂

盡管大數(shù)據(jù)集群的規(guī)模大，但是集群在達(dá)到一定規(guī)模后，服務(wù)器的配置趨向于收斂特性，即大量的服務(wù)器的硬件、系統(tǒng)、部署的軟件均是一致的，這就為自動(dòng)化運(yùn)維系統(tǒng)的設(shè)計(jì)帶來了巨大優(yōu)勢(shì)。

自動(dòng)化運(yùn)維系統(tǒng)設(shè)計(jì)原則

1、標(biāo)準(zhǔn)化

自動(dòng)化前提是標(biāo)準(zhǔn)化，在實(shí)現(xiàn)系統(tǒng)自動(dòng)化之前，應(yīng)該對(duì)操作流程進(jìn)行一次完善的標(biāo)準(zhǔn)化

2、高可用

大數(shù)據(jù)系統(tǒng)往往都是高可用的系統(tǒng)，為了提升整個(gè)系統(tǒng)的穩(wěn)定性和可用性，自動(dòng)化運(yùn)維系統(tǒng)也需要設(shè)計(jì)成高可用，避免因?yàn)樽詣?dòng)化運(yùn)維系統(tǒng)的故障導(dǎo)致大數(shù)據(jù)平臺(tái)出現(xiàn)無法服務(wù)的情況。

3、冪等性

簡單來說，冪等性指的是一個(gè)操作多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。在大數(shù)據(jù)系統(tǒng)架構(gòu)中，經(jīng)常存在部分失敗的情況，需要多次運(yùn)行相同的部署命令，這就需要系統(tǒng)在重復(fù)執(zhí)行的情況下，不會(huì)出現(xiàn)異常。

4、可回滾

所有自動(dòng)化操作均需涉及為可回滾，任何一種改變操作，都應(yīng)該保留相應(yīng)的數(shù)據(jù)、代碼、日志，并做合理備份，保證在任何一個(gè)步驟出現(xiàn)問題的時(shí)候，自動(dòng)化運(yùn)維系統(tǒng)可以實(shí)現(xiàn)回滾至之前的狀態(tài)。

5、高效率

大數(shù)據(jù)系統(tǒng)集群可以達(dá)到成千上萬臺(tái)服務(wù)器的規(guī)模，一次操作需要在短時(shí)間內(nèi)完成所有服務(wù)器的覆蓋，因此自動(dòng)化系統(tǒng)的運(yùn)行效率需要提高，一般需設(shè)計(jì)可配置的并發(fā)運(yùn)行數(shù)，達(dá)到對(duì)上線效率的要求。

實(shí)現(xiàn)路徑

典型的大數(shù)據(jù)平臺(tái)自動(dòng)化運(yùn)維系統(tǒng)，應(yīng)該包含OA系統(tǒng)(實(shí)現(xiàn)頁面操作、工作流管理)、CMDB(配置管理數(shù)據(jù)庫)、配置管理工具、堡壘機(jī)(中控機(jī))、定時(shí)任務(wù)系統(tǒng)、持續(xù)集成系統(tǒng)等。

Hadoop自動(dòng)化運(yùn)維系統(tǒng)典型架構(gòu)： 

自動(dòng)化運(yùn)維工具選擇

1、Ansible

Ansible是目前github上最受歡迎的開源自動(dòng)化工具，使用Python語言開發(fā)，與Puppet、Slat等工具相比，Ansible無需在被管理的機(jī)器安裝agent，而是通過ssh進(jìn)行管理，Ansible的更加的簡單易用并且功能強(qiáng)大。

2、Puppet

puppet是一種Linux、Unix平臺(tái)的集中配置管理系統(tǒng)，基于C / S架構(gòu)，使用ruby語言，可管理配置文件、用戶、cron任務(wù)、軟件包、系統(tǒng)服務(wù)等。puppet把這些系統(tǒng)實(shí)體稱之為資源，puppet的設(shè)計(jì)目標(biāo)是簡化對(duì)這些資源的管理以及妥善處理資源間的依賴關(guān)系。

3、SaltStack

SaltStack是一個(gè)服務(wù)器基礎(chǔ)架構(gòu)集中化管理平臺(tái)，具備配置管理、遠(yuǎn)程執(zhí)行、監(jiān)控等功能。SaltStack基于Python語言實(shí)現(xiàn)，結(jié)合輕量級(jí)消息隊(duì)列(ZeroMQ)與Python第三方模塊(Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等)構(gòu)建。

通過部署SaltStack環(huán)境，可以在實(shí)現(xiàn)：在成千上萬臺(tái)服務(wù)器上做到批量執(zhí)行命令;根據(jù)不同業(yè)務(wù)特性進(jìn)行配置集中化管理、分發(fā)文件、采集服務(wù)器數(shù)據(jù)、操作系統(tǒng)基礎(chǔ)及軟件包管理等。

綜上所述，Ansible是目前Devops業(yè)界非?；钴S的工具，在使用和部署上也非常方便(僅需安裝控制端，無需部署agent)，在小批量的集群上建議使用Ansible。如果集群規(guī)模較大(超過1000臺(tái))且對(duì)運(yùn)行速度要求更高，可以考慮Salt和Puppet(對(duì)Python做二次開發(fā)選用Salt，熟悉Ruby則可選擇Puppet)。