周五朋友生日，剛吃完飯準備唱歌，接到消息說業(yè)務(wù)支付失敗，問題是銀行前置機無法正常和銀行建立連接。

我麻了......

這臺服務(wù)器是銀行那邊親自搭的，說實話我很少去管理：
1、是一臺Windows服務(wù)器，我也不熟悉（太菜：路走窄了）。
2、不知道銀行裝了什么東西，動了會不會造成其他問題（還是太菜：心里畏懼了）。
3、業(yè)務(wù)量也不大，平時也沒出現(xiàn)啥問題（還是太菜：慣性思維）。

但是出了問題，不得不管呀，歌也沒唱了 ，跑到車庫，打開電腦，開始一頓瞎操作。

先去查了所有的監(jiān)控數(shù)據(jù)（這個時候就靠它了）。

首先確定CPU、內(nèi)存、磁盤IO、網(wǎng)絡(luò)等都是正常的。

但是發(fā)現(xiàn)在問題時間點，前置機的連接數(shù)非常高（也許這就是問題的關(guān)鍵）。

沒辦法，先試試能不能遠程進服務(wù)器，發(fā)現(xiàn)是OK的。

先使用網(wǎng)絡(luò)排查三板斧：（1）打開瀏覽器訪問域名，發(fā)現(xiàn)無法建立連接。（2）Ping域名，發(fā)現(xiàn)域名可以正常解析。（3）Telnet IP+Port，發(fā)現(xiàn)Telnet不通。

當時也沒往連接數(shù)已經(jīng)使用完上想。

然后就去找Windows的事件日志了，日志實在是太多了，多的發(fā)麻，看的頭暈?zāi)X花，不過功夫不負有心人，還是發(fā)現(xiàn)點問題，如下：

啥意思？

就是本地端口用完了，沒有多余的端口可以分配使用會導致無法與外部通信。

啥意思？

這就要說到TCP三次握手了，TCP客戶端和服務(wù)器連接時，客戶端必須分配一個動態(tài)端口，不過這里就繼續(xù)贅述了，大家都是大佬。

Windows默認動態(tài)端口范圍是1024-5000，也就是只能發(fā)起約4000個Socket連接，然后第一反應(yīng)就是增大動態(tài)端口分配范圍（簡直太聰明了）。

然后我就更改了注冊表（[HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Tcpip\Parameters]），把端口范圍增大到2000，然后重啟了服務(wù)器（名副其實的SRE（Server Reboot Enginer））。

服務(wù)器重啟過后，肯定是可以正常服務(wù)了，畢竟沒有重啟解決不了的問題，如果有，那就再重啟幾次。

但是事情就這么完了？

當然不，得找找為什么會有這么多連接，正常的業(yè)務(wù)情況下，不會出現(xiàn)這種問題。

所以就打開控制臺，使用natstat -ano，不看不知道，一看嚇一跳，發(fā)現(xiàn)非常多的鏈接都是和47.95.x.x進行的。

我使用netstat -ano | find "47.95.x.x" | find /c "80"一查，剛起的機器，就有2000多個連接了，著實嚇到我了。

先問業(yè)務(wù)方，確認該IP是不是第三方的，得到明確答案不是，我開始慌了。

然后在網(wǎng)上查，發(fā)現(xiàn)這個IP是阿里云北京數(shù)據(jù)中心的。

一開始以為是阿里云的某些公用云服務(wù)，比如阿里云盾、云監(jiān)控等（懂的都懂）。

所以就直接找阿里咯，得到回復說不是阿里云盾這些服務(wù)的IP，我慌的一批，一種不好的預(yù)感縈繞心頭。

馬上把這個IP禁用了，在安全組給限制掉。

然后從netstat -ano可以發(fā)現(xiàn)主要是通過1060這個進程建立連接的。

uqccmg這個進程一看就非常規(guī)進程（不符合約定俗成的命名規(guī)則），當然也要確認一番。

得到準確答案后，嘗試殺掉該進程，殺了又起，殺了又起，抓麻了。

然后通過進程去找到了文件。

看這非主流的圖標，中毒無疑了。

試著刪除該文件，當然是失敗了，不過，也知曉了該進程是通過.net服務(wù)托管著的，那我就把.net停掉唄，反正沒用這個服務(wù)。

停掉過后，確實可以殺該進程，而且也沒有再啟動了，連接也少了。

BUT，不要那么樂觀......

病毒還是在的，只是沒起了而已，僅此而已。

所以只有借助殺毒軟件了，下了一個火絨，居然發(fā)現(xiàn)17個風險項目。

先通過殺毒軟件把這個病毒干掉，具體有沒有干干凈我也不知道了（菜是原罪）。

業(yè)務(wù)現(xiàn)在可以正常使用，socket連接也是正常的，沒再發(fā)現(xiàn)可疑進程 。

但是，心里總是沒底，最好的辦法還是重裝，這還需要評估下遷移和安裝成本，主要不是咱們自己安裝，也不知道.....

通過這個經(jīng)歷，發(fā)現(xiàn)自己還是太菜：
1、沒有做好系統(tǒng)安全加固，沒有安裝殺毒軟件啥的，主要是阿里云的云盾太貴.....
2、沒有經(jīng)常檢查服務(wù)器，沒做好日常巡檢。
3、開放了沒必要開放的端口（銀行開的，我也不敢關(guān)，咋辦？）。
4、對Windows服務(wù)器天生逆反之心。