點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！??！

背 景

Elasticsearch是一個(gè)開(kāi)源的、分布式的、高可用的、實(shí)時(shí)的搜索和分析引擎,它有助于快速收集、存儲(chǔ)和分析大量數(shù)據(jù)，廣泛應(yīng)用于大規(guī)模數(shù)據(jù)的實(shí)時(shí)搜索和分析。

而在現(xiàn)實(shí)運(yùn)維中，隨著業(yè)務(wù)的擴(kuò)展，數(shù)據(jù)量不斷增大，為保障業(yè)務(wù)性能，ES集群不斷的擴(kuò)容節(jié)點(diǎn)，擴(kuò)大集群，有的集群多達(dá)上百個(gè)節(jié)點(diǎn)，雖集群內(nèi)部具有副本冗余機(jī)制，但由于PCSERVER的不穩(wěn)定性(磁盤(pán)故障、網(wǎng)絡(luò)故障、硬件BUG、內(nèi)核、內(nèi)部錯(cuò)誤等)或集群的性能壓力或程序Bug，可能會(huì)導(dǎo)致集群節(jié)點(diǎn)丟失。

目前我們運(yùn)維已經(jīng)做到7*24短信告警監(jiān)控，只是在大半夜，有可能無(wú)法即時(shí)收到短信進(jìn)行恢復(fù)，為能即時(shí)恢復(fù)集群狀態(tài)，進(jìn)而對(duì)節(jié)點(diǎn)丟失場(chǎng)景研究，并編寫(xiě)自動(dòng)化腳本，定義autocron task自動(dòng)恢復(fù)集群。

下面是我們的一個(gè)業(yè)務(wù)的集群，由于業(yè)務(wù)壓力，經(jīng)常性會(huì)丟失1~2個(gè)節(jié)點(diǎn)，并基于該場(chǎng)景做自動(dòng)恢復(fù)。

場(chǎng)景介紹

2.1 腳本設(shè)計(jì)思路

• 集群節(jié)點(diǎn)數(shù)統(tǒng)計(jì)，對(duì)節(jié)點(diǎn)的數(shù)量統(tǒng)計(jì)，節(jié)點(diǎn)數(shù)不同則設(shè)置不同的值，根據(jù)實(shí)際情況設(shè)置；
• 對(duì)剩余節(jié)點(diǎn)判斷，小于3則對(duì)節(jié)點(diǎn)直接拉起；
• 等待5分鐘，可根據(jù)實(shí)際情況調(diào)整，對(duì)集群狀態(tài)進(jìn)行判斷。

目前該場(chǎng)景權(quán)適用于部分節(jié)點(diǎn)丟失的情況，由于考慮主機(jī)硬件問(wèn)題導(dǎo)致的所有節(jié)點(diǎn)故障，存在主機(jī)PING告警，在主機(jī)重啟后，進(jìn)行判斷后再拉起，在未來(lái)可對(duì)這一塊進(jìn)一步調(diào)整優(yōu)化。

2.2 具體腳本

#!/bin/bas
MONITOR_HOME="/app/check_es"
app_home="/app"
hostip="xxxxxxxx"
node="node_xxxxxxx_9200"
node_number1=`curl -u username:xxxxxxxx http://xxxxxxxx:9200/_cat/nodes|grep 'xxxxxxxx'|wc -l`
if [ ${node_number1} -ne 5 ];then
curl -u username:xxxxxxxx http://xxxxxxxx:9200/_cat/nodes?v |grep 'xxxxxxxx'|awk '{print $10}' > $MONITOR_HOME/now.txt
grep -vwf $MONITOR_HOME/now.txt $MONITOR_HOME/last.txt > $MONITOR_HOME/check.txt
if [[ ${node_number1} < 3 ]];then
cd $MONITOR_HOME
./mess.sh -b "`date` $hostip ERROR: 丟失節(jié)點(diǎn)數(shù)超過(guò)3個(gè)，請(qǐng)檢查" -t 18974885939,1536793399
else
if [[ ${node_number1} > 2 ]];then
for i in `cat ${MONITOR_HOME}/check.txt`
do
echo "`date` 節(jié)點(diǎn)${i}異常，準(zhǔn)備重啟" >> ${MONITOR_HOME}/error.log
if [ ${i} = ${node} ];then
pid=`ps -ef |grep ${i} |grep -v grep|grep -v controller|grep -v node_${hostip}_9201|grep -v node_${hostip}_9202|grep -v node_${hostip}_9203|grep -v node_${hostip}_9204|awk '{print $2}'`
else
pid=`ps -ef |grep ${i} |grep -v grep|grep -v controller|awk '{print $2}'`
fi
if [ !${pid} ];then

kill -9 ${pid}
cd ${app_home}/${i}/elasticsearch
./bin/elasticsearch -d
else
cd ${app_home}/${i}/elasticsearch
./bin/elasticsearch -d
fi
done
sleep 300s
node_number2=`curl -u username:xxxxxxxx http://xxxxxxxx:9200/_cat/nodes|grep 'xxxxxxxx'|wc -l`
node_status=`curl -u username:xxxxxxxx http://xxxxxxxx:9200/_cat/health|awk '{print $4}'`
if [ ${node_number2} -ne 5 ];then
echo "節(jié)點(diǎn)未恢復(fù)，請(qǐng)檢查"
else
if [[ ${node_status} = "red" ]];then
echo "節(jié)點(diǎn)已重新加入集群，正在恢復(fù)"
else
echo "集群已恢復(fù)"
fi
fi
fi
fi
fi

自愈帶來(lái)的成效：

ElasticSearch集群由于業(yè)務(wù)壓力過(guò)大，有時(shí)會(huì)OOM，導(dǎo)致集群節(jié)點(diǎn)crash掉，在無(wú)主機(jī)資源增加時(shí)，該腳本解決了在收到告警而手工拉起ES節(jié)點(diǎn)的困惑，對(duì)業(yè)務(wù)用戶(hù)來(lái)說(shuō)也相對(duì)透明，通過(guò)該腳本受到一定的啟發(fā)，在對(duì)于現(xiàn)網(wǎng)環(huán)境，可以不斷的對(duì)特殊場(chǎng)景進(jìn)行自愈，以保障運(yùn)維的穩(wěn)定性。