手游公司運(yùn)維主管是怎么煉成的？
前言
去年陰差陽(yáng)錯(cuò)地進(jìn)入到這家創(chuàng)業(yè)型的手游公司?；厥自谶@家公司工作的這段時(shí)光，感概頗深，半年時(shí)間掌握的知識(shí)是我之前兩年多掌握的還要多。在大公司，很多東西做得很完善了，沒(méi)有存在感和成就感，我只需要去適應(yīng)大公司里面的工作流程，去做那些已經(jīng)做得很模塊化的工作，但是他們是怎么樣從一團(tuán)混亂發(fā)展成流程標(biāo)準(zhǔn)化，我不得而知，也沒(méi)人講解過(guò)，當(dāng)時(shí)就覺(jué)得在這家大公司里面，很多東西都不是我做的，我只是一名簡(jiǎn)單的運(yùn)維小工，做些常規(guī)的簡(jiǎn)單操作。由于不甘心這種清閑的工作，想要獲得更大的發(fā)展空間，獲得更多的知識(shí)。于是，我用盡心思去了解運(yùn)維方面的底層架構(gòu)，將運(yùn)維工作做得更加極致。如今，夢(mèng)想離我越來(lái)越近了。
面試
面試的當(dāng)天收到兩個(gè)offer，一個(gè)是當(dāng)前這個(gè)剛成立不久的公司，另一個(gè)是一家游戲公司。兩家公司的具體情況如下：
1、 當(dāng)前公司收購(gòu)了另外一家公司的項(xiàng)目組，收購(gòu)的項(xiàng)目剛開(kāi)始運(yùn)營(yíng)，公司缺一個(gè)運(yùn)維人員，但是干得工作比較雜亂，統(tǒng)管公司的所有的運(yùn)維工作，又當(dāng)網(wǎng)管又要管理線上的服務(wù)器。
2、 另一家游戲公司，有一定規(guī)模，公司大概幾層樓，有幾百人。業(yè)務(wù)系統(tǒng)維護(hù)機(jī)制相對(duì)健全。
二者權(quán)衡之下，我還是選擇了目前所在的公司，雖然做桌面維護(hù)是我非常不愿意干的事情，但是公司正處于發(fā)展階段，剛開(kāi)始難免會(huì)苦一點(diǎn)。但是對(duì)于我個(gè)人發(fā)展而言，還是比較有前途的。
入職
入職第一天就和二老板去搬電腦，入職第二天修電腦、安裝操作系統(tǒng)，第三天就要直接管理線上的服務(wù)器。這之后的每天都是忙忙碌碌。
一邊老板要讓弄打印機(jī)，弄RTX，另一邊老大又要讓處理線上問(wèn)題，兩頭都為難。還有就是游戲頻繁上線代碼的問(wèn)題嚴(yán)重得很，又要項(xiàng)目一直沒(méi)有發(fā)布分支，導(dǎo)致很多時(shí)候測(cè)試剛測(cè)好，放到線上就又出問(wèn)題了，原因是策劃那邊又改資源了，我這邊也要頻繁上線。剛開(kāi)始通過(guò)rz,sz將開(kāi)放打包的代碼上傳到服務(wù)器，后來(lái)實(shí)在受不了，就想法寫(xiě)了同步腳本，但是頻繁登錄到服務(wù)器去執(zhí)行腳本，我又受不了最近研究Rundeck，終于實(shí)現(xiàn)了在WEB界面去發(fā)布代碼，后續(xù)會(huì)寫(xiě)文章講解。
后來(lái)，由于某些原因，項(xiàng)目組原來(lái)的成員陸續(xù)離職（包括策劃，美術(shù)，客戶端和服務(wù)端），工作交接混亂，新來(lái)的策劃還沒(méi)有熟悉游戲資源配置，新來(lái)的服務(wù)端程序還沒(méi)有熟悉游戲代碼，運(yùn)營(yíng)那邊就催促要更新資源，要發(fā)布上線。很長(zhǎng)一段時(shí)間大家都是處于趕鴨子上架的狀態(tài)，硬著頭皮上，慢慢去摸索。
除了工作交接的問(wèn)題外，更可氣的是原項(xiàng)目組成員隔三差五就搗亂，導(dǎo)致我們經(jīng)常加班，四處救火。最嚴(yán)重的一次就是去年國(guó)慶之前的一天，公司自主運(yùn)營(yíng)的幾個(gè)游戲區(qū)服玩家突然都進(jìn)入不了游戲。這可把我們急壞了，預(yù)想了幾種情況：
1、 游戲服務(wù)器遭攻擊了
2、 競(jìng)爭(zhēng)對(duì)手搗亂
3、 Nginx，PHP-FPM參數(shù)沒(méi)有配置適當(dāng)
4、 MongoDB數(shù)據(jù)庫(kù)不穩(wěn)定
請(qǐng)ucloud的技術(shù)支持幫忙處理，當(dāng)天凌晨1點(diǎn)后，確定此次故障為MongoDB索引丟失導(dǎo)致PHP代碼查詢MongoDB數(shù)據(jù)庫(kù)連接超時(shí)引起的。之后的一兩個(gè)月里，幾乎一到周末就有某些區(qū)玩家進(jìn)入不了游戲，由于有之前的案例，就再次添加索引玩家又能進(jìn)入游戲了。奇怪的是，很多服務(wù)器剛添加過(guò)索引不久，MongoDB索引又丟失了，我們到處高手問(wèn)，網(wǎng)上查找資料，為什么MongoDB索引會(huì)無(wú)緣無(wú)故就丟失呢？很多高手給的答案就是要么換掉MongoDB數(shù)據(jù)庫(kù)要么重新審查MongoDB的表結(jié)構(gòu)的業(yè)務(wù)邏輯。
當(dāng)時(shí)我看官方文檔說(shuō)MongoDB是內(nèi)存映射型數(shù)據(jù)庫(kù)，我就懷疑是不是由于內(nèi)存不夠?qū)е翸ongoDB數(shù)據(jù)丟失的情況，但是明明內(nèi)存是夠的。最后開(kāi)發(fā)同事開(kāi)始審核代碼，最終發(fā)現(xiàn)游戲代碼里面有后面程序，通過(guò)調(diào)用PHP的eval()可以執(zhí)行任意代碼，再通過(guò)MongoDB的操作記錄發(fā)現(xiàn)，MongoDB索引丟失的時(shí)間段里，有很多刪除操作。代碼修復(fù)后，后面基本上就沒(méi)有出現(xiàn)過(guò)類似事件了。這簡(jiǎn)直是坑人的節(jié)奏，我們?yōu)榇思恿硕嗌侔啵速M(fèi)了多少時(shí)間。
為此，我決定以后有空了一定要對(duì)開(kāi)發(fā)的線上代碼進(jìn)行關(guān)鍵字過(guò)濾。物理機(jī)房斷電，物理機(jī)房調(diào)整防火墻，游戲域名沒(méi)有備案被當(dāng)局墻掉，公司BI系統(tǒng)遭受CC攻擊等等類似的事情還有很多，一個(gè)人扛過(guò)來(lái)了，受益也頗深。
我的腦子每天都在高速運(yùn)轉(zhuǎn)，如何才能減輕自己的工作量，如何才能提高工作效率，不讓自己沉溺于繁瑣的重復(fù)勞作。
之前在大公司的工作經(jīng)驗(yàn)讓我明白網(wǎng)管這個(gè)職位很難進(jìn)行轉(zhuǎn)崗，因?yàn)榫W(wǎng)管基本上只會(huì)Windows系統(tǒng)，但是就目前來(lái)看，學(xué)習(xí)Windows是沒(méi)有太大前途的，除非想一輩子做網(wǎng)管。所以我在公司除了桌面系統(tǒng)推行使用Windows系統(tǒng)外，其他的內(nèi)部服務(wù)全部使用Linux服務(wù)器，DNS,郵件服務(wù)器，域名代理等服務(wù)器，讓公司的網(wǎng)管組同事也能夠有一定的發(fā)展空間，除了常規(guī)的Windows桌面維護(hù)外，有很多學(xué)習(xí)Linux 的機(jī)會(huì)，以后可以直接轉(zhuǎn)崗到游戲運(yùn)維。
同時(shí)為了規(guī)范化運(yùn)維工作，我在公司推動(dòng)搭建公司內(nèi)部的WIKI系統(tǒng)，無(wú)論是網(wǎng)管工作還是游戲運(yùn)維工作都要記錄到WIKI系統(tǒng)中，以讓新入職的同事能夠盡快熟悉本質(zhì)工作，同事也鼓勵(lì)公司內(nèi)部知識(shí)分享，將一些工作經(jīng)驗(yàn)分享到WIKI系統(tǒng)中，逐步完善公司內(nèi)部的知識(shí)庫(kù)。
2014年我們需要做的工作還很多，去年經(jīng)歷的很多苦逼事件促使我們更快的成長(zhǎng)，更快地尋找到適合自己發(fā)展的方向。主要有以下幾個(gè)方面：
第一，盡快完善代碼上線流程。從過(guò)去的完全手動(dòng)上傳代碼，到編寫(xiě)shell腳本，再到通過(guò)WEB方式去點(diǎn)擊，總之，一切目的都是為了提高工作效率和避免重復(fù)勞動(dòng)，運(yùn)維工程師不應(yīng)該被這些繁瑣重復(fù)的勞動(dòng)給拖累，應(yīng)該去創(chuàng)造更多的價(jià)值，應(yīng)該花更多時(shí)間去研究如何優(yōu)化流程。
第二，完善監(jiān)控系統(tǒng)。在過(guò)去由于時(shí)間精力有限，我只是使用zabbix初步搭建了一個(gè)監(jiān)控系統(tǒng)，對(duì)于很多業(yè)務(wù)層面上的監(jiān)控都沒(méi)有做調(diào)整，如游戲域名的正常訪問(wèn)，MongoDB監(jiān)控等。
第三，所有的Linux服務(wù)器統(tǒng)一賬號(hào)管理。在去年，由于情況特殊，項(xiàng)目開(kāi)發(fā)具有服務(wù)器的所有權(quán)限，去年我晚上睡覺(jué)的時(shí)候都擔(dān)心別人會(huì)誤操作刪除服務(wù)器數(shù)據(jù)，但是都是使用同一個(gè)賬號(hào)登錄服務(wù)器的，無(wú)法得知是誰(shuí)登錄服務(wù)器，所以今年我要仿照之前外企的賬號(hào)管理模式，搭建OpenLDAP集中賬號(hào)管理服務(wù)器，對(duì)不同人進(jìn)行訪問(wèn)權(quán)限分類。
第四，對(duì)上線代碼進(jìn)行審核。在去年，由于前項(xiàng)目組程序員在游戲代碼中留后門(mén)導(dǎo)致我們經(jīng)常加班，經(jīng)常是半夜打車(chē)回家的苦逼經(jīng)歷，在今后的代碼上線之前一定要對(duì)開(kāi)發(fā)的代碼進(jìn)行審核，避免由于有意無(wú)意的安全風(fēng)險(xiǎn)。
第五，和開(kāi)發(fā)同事一起研究如何優(yōu)化游戲架構(gòu)。目前每個(gè)游戲區(qū)服都是使用單獨(dú)的域名，單獨(dú)的Nginx虛擬主機(jī)目錄，然后同樣的代碼要拷貝多份，每個(gè)區(qū)服需要單獨(dú)配置配置文件，由于程序的架構(gòu)不支持負(fù)載均衡架構(gòu)。這種方式太坑爹了，既不能合理利用服務(wù)器系統(tǒng)資源，運(yùn)維這邊也是干些重復(fù)的體力活。在后期我們會(huì)考慮使用HAProxy+Keepalived作為游戲服的前端，然后根據(jù)負(fù)載情況增加或減少后端的游戲服。這里需要考慮游戲玩家的session會(huì)話和應(yīng)用日志處理的問(wèn)題。
第六，深入學(xué)習(xí)MongoDB和Redis。后面的項(xiàng)目，我們也使用MongoDB和Redis作為游戲的游戲數(shù)據(jù)庫(kù)。所以，運(yùn)維這邊有必要深入了解MongoDB和Redis數(shù)據(jù)庫(kù)。
第七，公司內(nèi)部郵件服務(wù)器切換。由于公司是創(chuàng)業(yè)型公司，一直使用的是QQ的免費(fèi)企業(yè)郵箱，隨著公司的發(fā)展，無(wú)論是從企業(yè)的私密性要求和郵件的收發(fā)效率來(lái)講，使用類似QQ企業(yè)郵箱這種免費(fèi)郵箱會(huì)有很多限制和安全性隱患。數(shù)據(jù)放到自己公司內(nèi)部才是最安全的，況且部門(mén)內(nèi)部員工郵件溝通走內(nèi)網(wǎng)也是相當(dāng)快速的。在去年我們使用iRedmail開(kāi)源郵件方案在公司內(nèi)部測(cè)試，我平時(shí)除了正式的工作郵件交流使用公司的正式郵箱，其他的郵件全是使用測(cè)試郵箱賬號(hào)進(jìn)行收發(fā)郵件，如接受zabbix監(jiān)控報(bào)警郵件，注冊(cè)國(guó)外網(wǎng)站使用的郵箱，包括公司內(nèi)部一些系統(tǒng)的通知郵箱地址，如xwiki系統(tǒng)，redmine，代碼發(fā)布系統(tǒng)全是使用測(cè)試郵箱賬號(hào)。從使用狀況來(lái)看，iRedmail開(kāi)源郵件解決方案還是比較高效和穩(wěn)定的，所以，今年我們會(huì)抽時(shí)間將郵件服務(wù)器從QQ免費(fèi)企業(yè)郵箱遷移到iRedmail郵件服務(wù)器。
第八，推進(jìn)自動(dòng)化運(yùn)維。工作第一年我花時(shí)間研究了puppet，結(jié)果沒(méi)有使用，現(xiàn)在也沒(méi)有再去研究了，由于puppet是使用ruby語(yǔ)言寫(xiě)的，puppet的配置語(yǔ)言和ruby也類似。我決定直接放棄puppet，選用SlatStack作為我們的自動(dòng)化運(yùn)維工具，它由python編寫(xiě)，很方便進(jìn)行二次開(kāi)發(fā)，同時(shí)正在使用的自動(dòng)化工具Rundeck也可以整合SaltStack,所以，StaltStack是今年我們需要研究的重點(diǎn)。
2014年，是一個(gè)充滿機(jī)遇和挑戰(zhàn)的一年，我會(huì)更加努力努力去做好自己的本職工作，帶領(lǐng)團(tuán)隊(duì)成員打造優(yōu)秀的運(yùn)維團(tuán)隊(duì)。
