淺談如何利用IP數(shù)據(jù)來輔助風(fēng)控和安全系統(tǒng)
互聯(lián)網(wǎng)時代,ip一直在網(wǎng)絡(luò)安全和風(fēng)險控制領(lǐng)域占據(jù)著最為重要的地位,主要是出于以下因素:
1.所有的網(wǎng)絡(luò)請求都會帶有ip信息,因此其天然的成為訪問者的身份標(biāo)識。
2.由于ip的管理和分配比較嚴(yán)格,很難造假。雖然會有代理、肉雞等掩藏蹤跡的手法。但絕大部分情況下,ip數(shù)據(jù)的真?zhèn)问强梢孕诺眠^的。
3.由于ip屬于網(wǎng)絡(luò)層,可以輕松的對其進(jìn)行阻斷?,F(xiàn)有的各種網(wǎng)絡(luò)安全、負(fù)載均衡的設(shè)備和軟件,都是以ip為對象進(jìn)行追蹤和管理的。
因此,常見的攻擊防范和風(fēng)險控制都會利用IP來作為用戶的身份標(biāo)識,來進(jìn)行分析和處理。
IP常見分析方法
IP客觀屬性
目前的IP分配都由專門的機構(gòu)或官方來統(tǒng)一分配和管理,所以有很多客觀上比較準(zhǔn)確的屬性可供參考:
1. 歸屬地。目前每個ip的歸屬地在較短的時間內(nèi)都會保持固定,可以用來判斷請求來源的大概位置
- a. 歸屬地數(shù)據(jù)目前有免費和商業(yè)的服務(wù),也可以參考這個玩具例子(簡易構(gòu)建適合風(fēng)控系統(tǒng)的ip庫),搭建自己的ip庫
- b. 歸屬地的變更相對來說更頻繁,在數(shù)據(jù)源的選取上需要找更新較頻繁的
- c. 現(xiàn)在3/4G的移動出口會帶來混淆,手機上網(wǎng)的ip可能只能反映手機卡歸屬地,所以要小心這一部分?jǐn)?shù)據(jù)
2.所屬機構(gòu)。大型組織機構(gòu)申請的固定ip都需要綁定信息,可以從ASN數(shù)據(jù)獲取一些端倪。例如我們可以借此判斷IP是否屬于公有云平臺、教育網(wǎng)
3.綁定域名。通過DNS可以查詢到域名相關(guān)的ip,同樣,部分ip可以反查出相關(guān)聯(lián)的域名
- a. 一個典型的應(yīng)用是通過ip將大型搜索引擎的ip查出,防止誤殺。不過只適用于google、bing、百度這樣的大型搜索引擎,才能反查出域名,國內(nèi)其他的搜索引擎還不行
4.其他。還有一些其他屬性,例如是否屬于手機基站等,可以通過其他手段來獲取。
這里是一個例子,我們通過系統(tǒng)分析發(fā)現(xiàn)了一個可疑ip,這里面ip的歸屬地、vps信息、公有云平臺信息都是ip的客觀屬性,可以輔助我們做決策。
事實上,目前看來大部分的普通攻擊行為來自于云服務(wù)器,從直覺上來說,普通用戶也不應(yīng)該通過公有云平臺來訪問網(wǎng)站。所以有時候,如果發(fā)現(xiàn)客戶ip是公有云平臺的,可以直接將此請求置為高危。
IP主動探測屬性
ip除了一些客觀屬性,還可以通過主動探測來作進(jìn)一步了解:
- 是否是郵件服務(wù)器
- 是否是web服務(wù)器
- 是否是vpn服務(wù)器
- 是否是代理服務(wù)器
這里可以通過包括端口掃描在內(nèi)的一系列主動探測、嘗試技術(shù)來獲取信息,來輔助判斷:
- 對于普通個人用戶或者是出口ip而言,不會有相應(yīng)的服務(wù)與ip綁定;否則,極大概率是機器行為。目前互聯(lián)網(wǎng)上的流量,有很大一部分是機器行為,所以這塊信息在人機判斷上可以起到很大的作用。
- 不過現(xiàn)在有一些例外,有一些流氓的家用路由器可能會開通一些端口和服務(wù),不過這一類用戶本身就屬于高風(fēng)險來源。
IP行為
ip的屬性準(zhǔn)確性是比較高的,但并不能覆蓋所有場景,所以有時候還需要根據(jù)ip的相關(guān)行為作出判斷:
1.該ip的請求是否有注入、撞庫、ddos、漏洞掃描等網(wǎng)絡(luò)攻擊行為。
2.該ip的用戶是否有刷單、惡意欺詐、薅羊毛等風(fēng)控相關(guān)的的行為。
3.ip和用戶名、設(shè)備指紋等的關(guān)聯(lián)信息。如果發(fā)現(xiàn)某個用戶、設(shè)備上有非常多的用戶,極大的概率可以將此用戶和設(shè)備拉黑;反過來,當(dāng)某個ip出現(xiàn)了大量的用戶或設(shè)備,也是風(fēng)險提示,不過要排除組織出口等屬性的影響。
上圖顯示出某個ip上的用戶行為,可以看出在有規(guī)律的切換賬號進(jìn)行操作,這樣就把松散的攻擊,以IP為紐帶聯(lián)系起來,方便識別。
4.ip的歸屬地特性也可以與用戶行為結(jié)合起來。常見的分析方法包括識別用戶常用ip,以及用戶是否短時間內(nèi)發(fā)生了較大的地理偏移(通過比較使用的不同ip的歸屬地)。
5.更復(fù)雜的分析包括利用ip、用戶、設(shè)備之間兩兩關(guān)聯(lián)的信息可以勾畫出網(wǎng)站內(nèi)用戶之間的關(guān)聯(lián)網(wǎng)絡(luò)、以及用戶間的資金流向,這在反洗錢、復(fù)雜欺詐行為識別等方面具有顯著效果。
IP歷史行為輔助
通過對自身網(wǎng)站用戶行為的分析,可以找出絕大部分的有害訪問,但還是有以下缺點:
- 除了少數(shù)巨頭,大部分網(wǎng)站自身的數(shù)據(jù)體量小,不足以作完善的分析
- 需要較大的技術(shù)和資源投入,普通公司無法承擔(dān)
- 比較偏向于事中和事后,很難做到事前的預(yù)防
目前,還有一種方式是借助于互聯(lián)網(wǎng)上的一些黑白名單來彌補這方面的不足,這些黑白名單來源于他人網(wǎng)站上ip的歷史行為。但這種方式有一些缺陷:
- 相對來說,風(fēng)險行為跟時間和場景密切相關(guān),所以他人的黑名單不見得對所有人合適,即使這個“他人”是巨頭
- 目前互聯(lián)網(wǎng)上的信息泛濫,這些黑白名單是否值得信賴?
- 大量的ip與使用者之間沒有強綁定,另外,后一節(jié)將會提到ip在身份識別的作用上已經(jīng)逐漸力不從心
我們自身也有提供上述信息的數(shù)據(jù)服務(wù),但在歷史行為這一塊還是采取較保守的策略:
- 歷史行為相關(guān)的數(shù)據(jù)采用較短的過期設(shè)置,來應(yīng)對ip被輪換出去的情況
- 數(shù)據(jù)來源方面,采取信任的來源。一種是自己去部署的蜜罐分析出來的結(jié)果;另一塊是我們有標(biāo)準(zhǔn)化的大數(shù)據(jù)分析平臺和策略,通過合作客戶的黑名單數(shù)據(jù)交換來擴充自身數(shù)據(jù)庫
不過即使是這樣,還是需要用戶有正確的使用姿勢,不要純粹當(dāng)成黑白名單來使用,更多的是作為自身數(shù)據(jù)分析的補充。
IP的頹勢
需要指出的是,從最近幾年開始,IP在作為用戶標(biāo)識的作用日漸削弱,從而極大的影響到了其在安全防范和風(fēng)險控制方面的有效性:
1.IPv6 已經(jīng)不是新話題,雖然進(jìn)程非常緩慢,但趨勢無法逆轉(zhuǎn);IPv6的場景下,ip唯一性會難以保證。好在現(xiàn)在IPv6的普及率都很低,不管是用戶還是網(wǎng)站。
2.目前,國內(nèi)大部分用戶是沒有獨立ip的,基本上是在公司、學(xué)校、網(wǎng)吧等地方上網(wǎng),大家共享出口ip。以教育網(wǎng)為例,它共有76000+ C類地址,雖然已經(jīng)是比較多的資源,但還是不能完全覆蓋它內(nèi)部整個網(wǎng)絡(luò),會有很多學(xué)校只能分配到少數(shù)資源,導(dǎo)致大量的學(xué)生都共享同一個公網(wǎng)ip,有一個調(diào)皮了就會影響到一群人。對這類ip,需要非常小心。
3.近幾年移動化浪潮下,共享ip的問題尤其突出?,F(xiàn)在大部分網(wǎng)絡(luò)訪問來自移動設(shè)備,要么是wifi地址,要么是3/4G出口。如果是后者,同一ip下的設(shè)備數(shù)量會非常驚人,貿(mào)然采取行動的話會死的很慘。移動時代,ip的作用已經(jīng)大為減弱。
4.即使是獨立ip,也很難對其采取長時間的措施。
- a. 一種獨立ip是電信買的固定ip,但這種成本高昂,拿來做壞事是得不償失的;
- b. 一種是最普遍的adsl撥號,這種每個人分配到的都是臨時ip,會很快被換到其他人手上。目前很多高級的爬蟲會采用這種形式(甚至有專門的撥號云主機出售),當(dāng)被攻擊對象進(jìn)行封禁時候,只要重新?lián)芴柧涂梢垣@取新的ip,繼續(xù)攻擊行為;同時網(wǎng)站還不敢對這種ip進(jìn)行長時間封禁,因為這些ip可能很快會被分配給普通用戶使用,從而影響到普通用戶的使用體驗。對于這種攻擊,只能是實時行為分析并阻斷+短時間封禁來應(yīng)對,對數(shù)據(jù)分析能力和網(wǎng)站技術(shù)框架帶來很大的考驗。
ip的上述特性,使得使用者需要采取更加專業(yè)和謹(jǐn)慎的姿勢。
IP的正確使用姿勢
在我們和客戶的合作過程中,整理了一些對ip信息在安全防范和風(fēng)險控制場景下的建議:
1.把ip信息單純的作為黑白名單會帶來一定的誤殺率,不小心的話會帶來比較嚴(yán)重的結(jié)果,需要一種合理的方式,并結(jié)合自身的情況來處理。
2.但是我們也發(fā)現(xiàn),很多用戶在分析過程中,過多的偏重于手機號等特性,忽視了ip的作用,這個其實損失了大量的風(fēng)險信息,也會對誤殺率(基站數(shù)據(jù)、教育網(wǎng)、組織出口數(shù)據(jù)等信息作白名單)和覆蓋率(服務(wù)器、公有云平臺、搜索引擎等信息輔助)帶來影響。
3.對于所有的用戶來說,都需要很好的利用ip的固有屬性,無論是客觀的還是主動探測的。這些屬性分別在白名單和黑名單方面都有比較明顯的貢獻(xiàn),如果自身有風(fēng)控系統(tǒng),應(yīng)該將這些信息補充到自己的模型或策略中,可以起到明顯的增強效果。
4.對于ip歷史行為(常見的黑白名單)的數(shù)據(jù)來說,要挑選數(shù)據(jù)源,誤殺率重于覆蓋率。而如果有自身的風(fēng)控系統(tǒng),兩相印證才是最合理的使用方法。
本文轉(zhuǎn)自豈安科技微信公眾號:bigsec,已取得授權(quán)