程序員：報(bào)警快把我折騰瘋了
本文轉(zhuǎn)載自微信公眾號(hào)「小姐姐味道」，作者小姐姐養(yǎng)的狗 。轉(zhuǎn)載本文請(qǐng)聯(lián)系小姐姐味道公眾號(hào)。
本文力求通過故事，來探討報(bào)警的頻度和功效。你有沒有碰到這樣的事情呢?
昨天早晨，接到電話，被臭罵一頓。
一個(gè)關(guān)鍵服務(wù)，發(fā)生了問題。沒有人知曉這個(gè)事情，造成了響應(yīng)滯后。領(lǐng)導(dǎo)語中帶氣：“做的報(bào)警系統(tǒng)有個(gè)鳥用!什么Promethus?我看就是個(gè)狗屁!”
我很委屈。要是服務(wù)出了問題，肯定會(huì)被提前預(yù)知的。于是我翻了報(bào)警記錄，終于在一大堆報(bào)警信息中找到了“報(bào)警信息”。
我把截圖發(fā)了過去，證明自己的清白，但內(nèi)心還是忐忑的。
這些報(bào)警信息，其實(shí)是給神看的，給鬼看的。就是不是給人看的。
我的思緒不由得飄向了我的自行車。
時(shí)刻警惕
為了鍛煉身體，xjjdog入手了一輛美利達(dá)山地車。廣告費(fèi)買的，感謝大家的點(diǎn)擊，在此請(qǐng)收下我的膝蓋。
每天最讓人開心的事，就是看別人堵車，笛聲長鳴。前不久我還在他們的隊(duì)伍之中，如今我已經(jīng)變成局外人。
和我相遇的最多的，變成了公路上形形色色的電動(dòng)車，還有各式各樣的三蹦子。它們橫沖直撞，往往嚇得我花容失色。
尤其是停車的時(shí)候，不小心蹭到周遭的車子，就有一輛，像碰不得的小媳婦一樣，尖聲叫起來。
一輛車子開始叫，帶動(dòng)附近其他的車子也開始叫，不一會(huì)就亂成一鍋粥。
這種場景，只有在渡劫時(shí)天雷下罰，才能達(dá)到這種效果。
我希望有一位勇士站出來，質(zhì)問我一下，我到底是不是竊格爾瓦，好歹給這些亂叫的報(bào)警器一個(gè)面子。
可是有更多的人從我旁邊目不斜視的走過，無視這種響動(dòng)。于是我釋然，明白了精神領(lǐng)袖為什么能夠?qū)覍业檬帧?/p>
瞎安什么報(bào)警器!
報(bào)警是有力的武器
為了能夠?qū)崟r(shí)掌握系統(tǒng)的狀態(tài)，對(duì)一些異常情況及時(shí)響應(yīng)，報(bào)警系統(tǒng)基本上成為了公司內(nèi)部必備的組件?，F(xiàn)在的信息推送渠道非常的多，除了微信、釘釘，還可以發(fā)送短信，甚至打電話。
公司剛普及報(bào)警系統(tǒng)的時(shí)候，大家都很興奮，感覺所有BUG都會(huì)被機(jī)器自動(dòng)解決一樣，把希望全部寄托在上面。
想想看，系統(tǒng)的任何波動(dòng)，都可以被掌控的感覺，就像是宙斯的感覺一樣。每天最興奮的事，就是在擴(kuò)展顯示屏上打開監(jiān)控界面?？幢O(jiān)控?cái)?shù)據(jù)波動(dòng)，就像是看股票波動(dòng)一樣讓人著迷，著迷于你的判斷力得到驗(yàn)證的那一刻。
“把你們的監(jiān)控群也拉我一下吧!” 領(lǐng)導(dǎo)看了也比較眼饞，想要體驗(yàn)一下報(bào)警信息的洗禮。
這當(dāng)然沒問題，成果除了它本身是成果，被領(lǐng)導(dǎo)承認(rèn)的成果才是真正的成果。毫不猶豫的，領(lǐng)導(dǎo)被拉進(jìn)了一大堆報(bào)警群。
接下來是群成員的噩夢。
領(lǐng)導(dǎo)好像對(duì)這些報(bào)警特別的感興趣，也特別的關(guān)注系統(tǒng)的穩(wěn)定性。群里出現(xiàn)一條報(bào)警信息，很多會(huì)被領(lǐng)導(dǎo)再次截圖發(fā)到群里，然后@ 某某人：“這是什么問題，趕緊解決一下”。
“CPU的使用超過50%了，有哪位同學(xué)能夠處理一下”。
“Load報(bào)警了 @xjjdog，你趕緊處理一下”。
這種事情多了，報(bào)警處理小組不太滿意了，有同學(xué)和我說，”這領(lǐng)導(dǎo)太耳鼻了，不知道這是正常的波動(dòng)么“。我私下里向領(lǐng)導(dǎo)反映，這都是比較正常的報(bào)警信息，就是一個(gè)提示。
”正常的報(bào)警信息!”，領(lǐng)導(dǎo)把正常和報(bào)警兩個(gè)詞讀的很重，“那到底是正常還是異常，你們這個(gè)系統(tǒng)做什么用的?”
我唯唯諾諾的退了下來，腦中往事翻騰。
我自然知道將報(bào)警分級(jí)，聚合，升級(jí)，甚至不同級(jí)別的報(bào)警，通知方式也不太一樣。但我還知道另外一點(diǎn)：報(bào)警組件，其實(shí)是內(nèi)部斗爭的強(qiáng)大武器。
很久之前有一家公司，內(nèi)部就存在一個(gè)拿著報(bào)警組件做文章的人。每到了下班時(shí)間，或者很多人已經(jīng)睡下了，他就開始截圖一些微不足道的報(bào)警信息，發(fā)到研發(fā)的大群里，并@他想要@的人，督促解決。
這是殺人誅心的行為。
- 如果你不響應(yīng)，群里很多人會(huì)認(rèn)為你沒有責(zé)任心
- 如果你認(rèn)為沒影響不回復(fù)，群里大多數(shù)人認(rèn)為你沒有責(zé)任心，長此以往人將不人
- 如果你多次不響應(yīng)，你的直屬領(lǐng)導(dǎo)或者更高領(lǐng)導(dǎo)會(huì)被@，但他們往往不懂技術(shù)，你就等著電話吧
- 如果你直接回復(fù)“正常波動(dòng)，沒影響”，這時(shí)候如果正好碰到故障，你將會(huì)被大多數(shù)人懷疑能力有問題
- 如果你被多次@，脾氣不好，回復(fù)沖動(dòng)了，你的形象將一落千丈
你權(quán)衡了一下，大多數(shù)時(shí)候，就只能老老實(shí)實(shí)的回答：”好的，我看一下“。
溫馨提示：看到這個(gè)技巧，奉勸你千萬不要拿報(bào)警組件做文章，否則xjjdog就是個(gè)罪人。
泛濫的指標(biāo)
那么接下來的操作就顯而易見了。眼不見心不煩，要么把領(lǐng)導(dǎo)從群里給 T 出去，要么把報(bào)警的閾值給調(diào)高，甚至別報(bào)了。我們選擇了后者，因?yàn)槟切o關(guān)緊要的信息，自己看著都眼煩。
就這樣，報(bào)警群突然間就安靜了下來，大家彼此都很滿意。
時(shí)間的車輪在旋轉(zhuǎn)，部門做完了年度任務(wù)，突然間也安靜下來，很多人都閑了下來。喝喝茶、劃劃水，一天就那么過去了。領(lǐng)導(dǎo)看在眼里急在心里。
你忙的熱火朝天的時(shí)候，領(lǐng)導(dǎo)是沒有愧疚感的;但一看到你竟然能夠閑下來，大多數(shù)領(lǐng)導(dǎo)就開始渾身難受。口口聲聲結(jié)果導(dǎo)向，但一看你的過程舒舒服服的，就覺得你的目標(biāo)定的太低。
領(lǐng)導(dǎo)對(duì)報(bào)警組件提出了質(zhì)疑：“我聽說把很多報(bào)警的指標(biāo)都給去掉了，這怎么可以。系統(tǒng)的隱患要及時(shí)暴露出來，提前消滅掉!”
領(lǐng)導(dǎo)給定下指標(biāo)，每臺(tái)機(jī)器，每個(gè)業(yè)務(wù)系統(tǒng)，必須湊夠100個(gè)監(jiān)控項(xiàng)，把系統(tǒng)無死角的監(jiān)控起來。
就像巨石落進(jìn)水潭，盤活了沉睡的碼農(nóng)，恢復(fù)了往日的忙碌。無數(shù)的報(bào)警群被創(chuàng)建開來，信息從早到晚響個(gè)不停。大伙兒目光呆滯的盯著屏幕，或者直接將幾百條未讀短信批量置成已讀。
這里要再看一下電動(dòng)車報(bào)警器了。在某寶上一搜，產(chǎn)品有很多個(gè)，賣的也不錯(cuò)。但，這有個(gè)鳥用。
報(bào)警信息泛濫，和沒有報(bào)警的效果是一樣的。你的報(bào)警器就是喊破喉嚨，也沒人多看你的愛車一眼，因?yàn)槲覀冊(cè)缫呀?jīng)麻木了。
真正的報(bào)警信息，被淹沒在無效報(bào)警的海洋里。系統(tǒng)的隱患，就這樣慢慢開始腐爛，無人問津。
End
這個(gè)問題肯定是要解決的。福報(bào)來了。痛定思痛，會(huì)議確定了以下內(nèi)容：
加大報(bào)警組件建設(shè)的投入力度，確保報(bào)警經(jīng)過了嚴(yán)格的分級(jí)
所有報(bào)警信息，無論影響大小，全部需要給出處理意見，落實(shí)到人
每天早會(huì)對(duì)報(bào)警信息進(jìn)行盤點(diǎn)，規(guī)范處方式
每周總結(jié)報(bào)警的條數(shù)、影響、改進(jìn)，持續(xù)優(yōu)化
我覺得這樣的安排沒有破綻，能夠打造一支一流的隊(duì)伍，你覺得呢?
“只要蠻力大，我們就不懼方法的對(duì)錯(cuò)!” 領(lǐng)導(dǎo)的名言貌似很有道理。
作者簡介：小姐姐味道 (xjjdog)，一個(gè)不允許程序員走彎路的公眾號(hào)。聚焦基礎(chǔ)架構(gòu)和Linux。十年架構(gòu)，日百億流量，與你探討高并發(fā)世界，給你不一樣的味道。我的個(gè)人微信xjjdog0，歡迎添加好友，進(jìn)一步交流。
